스페시픽 랩스(Specific Labs)는 실제 기업의 비공개 코드베이스에서 AI 코딩 에이전트를 시험하는 ‘리얼-SWE(Real-SWE)’ 벤치마크를 공개했다. 청구서 과세처럼 사업 규칙과 외부 서비스가 얽힌 작업을 맡긴 결과, 가장 높은 해결률도 46.25%였다. 공개 저장소의 문제를 푸는 능력과 운영 중인 제품을 안전하게 고치는 능력 사이에 얼마나 큰 간격이 있는지 보여주는 수치다. 다만 순위는 모델만이 아니라 각 모델에 연결된 실행 도구까지 포함한 결과여서, 현장의 사용 경험과 어떻게 맞춰 읽을지도 쟁점이다.
핵심 요약
- 리얼-SWE는 실제 기업에서 사용 중인 비공개 코드베이스의 작업으로 AI 코딩 에이전트를 평가해, 공개 문제 풀이보다 현업에 가까운 난도를 겨냥한다.
- 최고 해결률은 GPT-6 아스트라(Astra)의 46.25%로, 선두 모델도 절반이 넘는 작업에서 요구사항을 모두 충족하지 못했다.
- 청구서 과세 사례는 사업자별 규칙, 면세 고객, 외부 세금 서비스, 장부와의 연동을 함께 처리해야 해 단순한 코드 수정과 다르다.
- 실패한 실행에서는 요구사항 누락과 주변 시스템 연결 오류가 두드러졌으며, 비용이 더 높다고 해결률이 높아지는 것도 아니었다.
- Hacker News에서는 비공개 코드의 유출 가능성, 실행 도구와 지시 방식이 순위에 미치는 영향, 자체 코드로 평가할 필요성이 함께 제기됐다.
비공개 코드에서 묻는 실전 능력
스페시픽 랩스는 리얼-SWE의 작업을 실제 기업으로부터 사용 허가를 받은 운영 코드베이스에서 가져왔다고 설명한다. 작업은 기업 엔지니어가 다루는 문제에서 직접 가져오거나 그 문제를 바탕으로 만들었다. 공개 인터넷에 코드와 정답이 놓인 문제와 달리, 에이전트는 처음 보는 시스템 안에서 필요한 맥락부터 찾아야 한다.
이 벤치마크가 묻는 것은 코드를 작성할 수 있느냐보다 기존 제품에 맞는 변경을 끝까지 완성할 수 있느냐다. 저자들은 전문가가 설계하거나 합성한 과제도 유용하지만, 기업 엔지니어에게 실제로 주어진 일과는 다르다고 본다. 기업마다 다른 업무 규칙과 코딩 관례를 읽고, 사용자가 의존하는 동작을 유지하면서 변경해야 한다는 점이 평가의 중심이다.
평가 대상도 모델 단독이 아니라 모델과 실행 도구의 조합이다. 각 모델에는 해당 계열의 기본 실행 도구를 사용했고, 추론 수준은 모두 ‘높음’으로 설정했다. 따라서 표의 순위는 같은 질문을 모델에 입력해 얻은 답변의 순위가 아니라, 각 에이전트가 작업 환경에서 코드를 탐색하고 수정한 결과의 순위다.
청구서 한 장에 얽힌 세금 규칙
공개된 예시 작업은 세금이 빠진 채 발행되는 청구서를 바로잡는 일이다. 플랫폼의 사업자마다 과세 방식이 달라 어떤 곳은 자체 세율을 관리하고, 어떤 곳은 구매자의 목적지에 따라 외부 세금 서비스에서 세액을 산정하며, 세금을 걷지 않는 곳도 있다. 면세 증빙을 보유한 고객에게는 사업자 설정과 관계없이 세금을 부과해서는 안 된다.
목적지 기준으로 세액을 계산할 때는 양측 주소, 청구 항목의 금액, 해당 사업자의 상품 분류를 세금 서비스에 전달해야 한다. 사업자 계정에 맞춰 시험용 또는 운영용 서비스를 골라야 하고, 서비스가 주소를 거부해도 청구서 발행 전체가 멈추지 않도록 처리해야 한다. 계산한 세율과 세액, 세금 포함 금액은 발행된 청구서에 남아야 한다.
청구서 결제가 끝나면 판매 내역을 청구서 번호와 함께 세금 서비스에 신고해 신고 자료와 맞춰야 한다. 유럽 당사자 사이의 청구서에는 양측의 부가가치세 등록번호도 표시해야 한다. 예시 환경에는 타입스크립트(TypeScript)로 작성한 네스트JS(NestJS) 서비스, 세금 서비스의 시험·운영 환경, 인플럭스DB(InfluxDB) 장부가 등장한다. 한 화면의 계산식을 고치는 것처럼 보여도 실제로는 데이터 흐름과 외부 연동을 함께 살펴야 하는 작업이다.
실제 제품에서 고른 코드베이스
저자들은 사용량이 상당하고 엔지니어링 조직과 운영 업무의 요구 수준이 높은 기업을 중심으로 코드베이스를 선별했다고 밝혔다. 예시로 든 대상에는 이용자가 20만 명이 넘고 앱스토어 상위 100위에 오른 행사 서비스의 경쟁사, 은행 명세서 10만 건 이상을 처리하는 소비자 금융 플랫폼, 복잡한 업무 흐름을 지원하는 기업용 AI 영업 플랫폼이 포함된다. 벤치마크를 위해 새로 작성한 코드보다 실제 사용자나 사업상의 필요에 따라 만들어진 코드를 우선했다는 설명이다.
에이전트가 접하는 환경도 소스 파일에만 한정되지 않는다. 작업에 따라 AWS 에뮬레이터, 쿠버네티스(Kubernetes), 포스트그레SQL(PostgreSQL), 구글 드라이브(Google Drive), 리니어 MCP(Linear MCP·외부 작업 도구를 연결하는 인터페이스) 등이 열린다. 모든 작업에 모든 서비스를 제공하는 방식은 아니며, 해당 업무 흐름에 필요한 도구만 노출한다.
이 구성은 변경할 위치를 찾는 일 자체를 시험에 포함한다. 서비스가 여러 개인 환경에서는 특정 함수가 올바르게 동작하는 것만으로 끝나지 않는다. 어떤 설정을 읽고, 어디에 결과를 기록하며, 실제 실행 경로가 새 코드를 호출하는지까지 확인해야 한다. 저자들이 회사별 코딩 방식과 기존 구조를 강조하는 이유다.
짧은 지시문이 넓은 변경으로 이어질 때
리얼-SWE의 지시문은 필요한 변화를 설명하되 구현 위치와 방법을 일일이 지정하지 않는다. 에이전트는 코드와 주변 도구를 조사해 세부 구현을 찾아야 한다. 저자들은 검증기가 요구하는 동작이라면 지시문에 적혀 있거나 작업 환경에서 합리적으로 발견할 수 있어야 한다고 설명한다. 짧게 쓰되 정답에 필요한 조건을 숨기지는 않겠다는 원칙이다.
리얼-SWE의 일반적인 지시문 길이는 1,742자다. 자료에 제시된 다른 평가의 지시문 길이는 프런티어코드(FrontierCode)가 2,056자, 딥SWE(DeepSWE)가 1,975자, 터미널-벤치 3(Terminal-Bench 3)가 1,584자, 프런티어SWE v2(FrontierSWE v2)가 992자다. 저자들은 작업에 관련된 파일 수가 리얼-SWE에서는 11개로, 프런티어코드와 딥SWE의 6개보다 많다고 제시했다.
실패를 단순히 시간이 모자란 탓으로 보기도 어렵다. 10분 미만에 끝난 실행 중 57.4%가 실패했고, 더 오래 진행된 실행에서도 실패율은 66.2%였다. 저자들은 기존 사업 로직과 코딩 패턴이 얽힌 시스템에서 여러 서비스의 상태를 파악하고 요구사항을 해석하는 일이 어렵다고 본다. 지시문이 길지 않아도 실제 작업 범위는 넓어질 수 있다는 뜻이다.
최고 해결률 46.25%, 실패의 모양은 달랐다
공개된 전체 순위에서는 GPT-6 아스트라가 해결률 46.25%로 1위, 페이블(Fable) 5.1이 45.00%로 2위였다. 뒤이어 제미나이(Gemini) 3.8 플래시가 38.75%, GLM 5.3이 37.50%, 뮤즈(Muse) 스파크 1.3이 36.25%, 그록(Grok) 4.6이 32.50%를 기록했다. GPT-5.6 솔(Sol)은 26.25%, 키미(Kimi) K3는 20.00%였다.
작업별 편차도 컸다. 저자들은 살펴본 작업 10개 중 4개의 해결률이 15% 미만이었다고 밝혔다. 공개된 작업별 결과에는 여러 모델이 여덟 번의 시도에서 모두 통과한 경우와 한 번도 통과하지 못한 경우가 함께 나타난다. 평균 순위만으로 어떤 종류의 변경에 강하고 약한지까지 읽기는 어렵다.
실패한 실행을 분류했을 때 눈에 띄는 유형은 지시문에서 요구한 동작을 빠뜨리는 경우다. 키미 K3는 실패한 실행 64건 중 35건이 이 유형이었고, GLM 5.3은 50건 중 22건, 페이블 5.1은 44건 중 18건이었다. 방향은 맞았지만 주변 시스템에 잘못 연결한 사례도 많아, 제미나이 3.8 플래시는 실패 49건 중 21건이 여기에 해당했다. 반대로 GPT-5.6 솔은 확인하지 않은 시스템 구조를 가정하고 작업한 비율이 실패 59건 중 21건으로 제시됐다.
비용과 실행 방식까지 함께 봐야 하는 순위
저자들이 추정한 실행당 비용은 2.50달러에서 6.96달러까지였다. 2위인 페이블 5.1은 6.96달러, 1위인 GPT-6 아스트라는 4.67달러였고, 3위인 제미나이 3.8 플래시는 2.50달러였다. 비용이 큰 실행이 반드시 더 높은 해결률로 이어지지는 않았다는 것이 저자들의 관찰이다.
평가는 각 에이전트를 격리된 샌드박스(외부와 분리한 실행 환경)에서 실행하는 방식으로 진행됐다. 작업은 하버(Harbor) 형식을 따르며, 채점용 검증기는 평가 시점에 투입된다. 검증기는 코드베이스의 기존 테스트를 참고하거나 그 테스트를 그대로 사용했다. 작업 중 에이전트가 검증기 자체를 들여다보고 맞추는 방식과는 구분된다.
이 설정은 결과를 해석할 때도 중요하다. 실무에서는 엔지니어가 중간에 질문에 답하거나 우선순위를 다시 정하고, 변경 사항을 검토해 다음 수정을 지시할 수 있다. 리얼-SWE는 그런 협업 전체보다 주어진 환경에서 에이전트가 작업을 해결하는 능력을 측정한다. 동시에 비공개 제품 코드와 업무 도구를 넣음으로써, 공개 문제 풀이에서 놓치기 쉬운 현업의 복잡성을 평가하려 한다.
커뮤니티 의견
한 사용자는 약 30%대의 성공률이 자신의 경험과 비슷하다며, 사소해 보이는 수정에서도 모델이 실수한다고 했다. 이 사용자는 비공개 코드베이스가 모델 제공업체와 어떻게 공유됐는지도 물었다. 답글에서는 잘 정리된 타입스크립트·리액트 프로젝트에서 에이전트를 쓸 때 체감 성공률이 70%를 웃돈다는 반대 경험이 나와, 작업 환경에 따라 평가가 크게 달라질 수 있다는 견해가 맞섰다.
자체 코드베이스로 비슷한 평가를 만든 사용자는 변경 직전의 깃(Git) 이력으로 환경을 되돌리고, 당시 작업 지시를 에이전트에게 준 뒤 실제로 받아들여진 PR과 비교한다고 설명했다. 가장 오래 걸리는 일은 평가에 적합한 사례를 찾는 과정이었다고 한다. 현업 작업은 하나의 티켓에서 곧장 PR 병합으로 이어지지 않는 경우가 많아, 이런 평가는 질문을 제기하고 멈추는 능력 같은 협업 행동을 놓칠 수 있다는 지적도 덧붙였다.
실패 유형의 순위가 자신의 사용 경험과 거꾸로라는 반응도 있었다. 한 사용자는 페이블을 주 작업자로, 솔을 검토자로 둘 때 페이블의 잘못된 가정을 솔이 확인해 잡아낸다고 했다. 답글에서는 어느 모델이 검토 역할을 맡느냐에 따라 확인 행동 자체가 늘 수 있으므로, ‘가정을 잘 검증하는 모델’이라는 평가는 배치된 역할까지 함께 봐야 한다고 반론했다.
또 다른 사용자는 ‘비공개’ 코드가 모델에게도 끝까지 비공개로 남는지 의문을 제기했다. 코드를 모델 제공업체에 보내는 순간 자체 평가 자료도 더는 완전히 비밀이라고 보기 어렵다는 의견이 이어졌다. 이는 리얼-SWE의 결과가 오염됐다는 주장보다는, 비공개 코드로 평가한다는 설계만으로 학습 자료 유입 가능성에 관한 질문이 사라지지는 않는다는 문제 제기다.
GPT-5.6 솔의 낮은 순위에는 사용법의 영향을 강조하는 의견이 나왔다. 한 사용자는 같은 코드베이스와 같은 에이전트라도 사람이 어떻게 지시하고 활용하느냐에 따라 성과가 크게 다르다고 했다. 다른 사용자는 솔이 막연한 한 줄 지시보다 구체적인 요구와 엄격한 가이드라인을 받을 때 설계와 구현에 강점을 보인다고 평가했다.
큰 기능을 개발할 때의 우선순위를 비교하는 의견도 있었다. 한 사용자는 페이블이 데이터 규모가 커졌을 때 생길 문제를 더 잘 짚는 반면, 아스트라는 중요하지 않은 일에 힘을 쓰고 핵심을 놓칠 때가 있다고 했다. 답글에서도 아스트라가 작업의 대부분을 마친 뒤 중요한 부분을 건너뛰거나, 재수정을 요구하면 관련성이 낮은 경우까지 파고든다는 경험이 나왔다.
순위가 다른 사용 경험이나 평가와 맞지 않아 설정을 더 알고 싶다는 지적도 제기됐다. 한 사용자는 처음에는 실행 도구와 추론 수준이 빠졌다고 생각했지만, 실행 도구가 표에 표시돼 있음을 확인한 뒤에도 결과 차이에 대한 의문을 유지했다. 토론에 참여한 제작 측은 각 제공업체의 기본 실행 도구를 최대한 사용했고 모든 모델에 높은 추론 수준을 적용했다고 답했다.
제미나이 3.8 플래시의 높은 순위에는 공감하는 반응도 있었다. 한 사용자는 열린 질문에서는 방향을 잃을 때가 있지만, 기업 코드베이스처럼 범위가 정해진 환경의 문제를 푸는 데는 강하다고 평가했다. 또 다른 사용자는 자신의 에이전트 작업에서 페이블을 제외하면 제미나이 3.8 플래시의 성능이 가장 좋았다고 전했다.
핵심 통찰
리얼-SWE는 질문을 ‘AI가 코드를 쓸 수 있는가’에서 ‘회사 고유의 규칙을 찾아 기존 제품에 맞게 끝까지 연결할 수 있는가’로 옮긴다. 최고 해결률이 절반에 못 미치고 실패 유형에 요구사항 누락과 연동 오류가 두드러진다는 점은, 결과물을 검토할 때 무엇을 확인해야 하는지도 보여준다. 앞으로는 단일 순위보다 실제 코드베이스에서 지시 방식과 실행 도구를 달리했을 때 성과가 어떻게 바뀌는지, 비공개 평가 자료가 어떻게 다뤄지는지를 함께 지켜볼 필요가 있다.
원본: Real-SWE Benchmark — Specific Labs
토론: Hacker News