세무 AI 과제 50개, 최고 통과율은 10.8%

서지 AI(Surge AI)가 전문 세무 업무 50개로 AI 에이전트를 평가한 결과, 최고 모델의 통과율도 10.8%에 그쳤다. 새 벤치마크 데이잡: 택스(DAYJOB: Tax)는 세법 질문에 답하거나 세액을 계산하는 데서 멈추지 않고, 흩어진 기록을 검토해 고객이 미처 묻지 않은 문제까지 찾아내는지 살폈다. 주택 매각 기한을 놓치거나 혼인 여부를 확인하지 않은 채 은퇴계좌 분할을 권한 사례는 답변의 일부가 맞더라도 조언 전체가 위험해질 수 있음을 보여준다. 세무 AI의 실력을 어디까지 믿을 수 있는지 가늠할 만한 평가다.

핵심요약

  • 데이잡: 택스는 세무 분야 8개 영역의 과제 50개에서 AI가 자료 검토부터 신고서·검토 의견·고객 조언 작성까지 수행하는지 평가한다.
  • 최고 성적을 낸 클로드 소네트 5.5의 통과율은 10.8%로, 엄격한 기준에서 전문 업무를 끝까지 완수하기가 어렵다는 점을 보여준다.
  • 과제에는 총 1,789개 파일이 들어 있으며, 영수증 사진이나 현장 파견 기록처럼 정형화되지 않은 단서도 판단에 반영해야 한다.
  • 한 모델은 주택 매각 예정일 두 개를 올바르게 평가하고도 세금 혜택을 받을 수 있는 기한이 끝나는 시점을 알리지 못했다.
  • 토론에서는 AI가 회계사의 오류를 찾아냈다는 경험과, AI의 계산·판단도 사람이 검증해야 한다는 경험이 함께 나왔다.

두 매각일은 맞혔지만 놓친 기한

애나는 2024년 8월에 이사 나온 콘도를 팔면서 2026년 10월과 2027년 1월 중 어느 때 거래를 마치는 편이 세금에 유리한지 물었다. AI 에이전트는 두 날짜 모두 최대 25만 달러의 주택 양도차익을 제외받기 위한 거주 요건을 충족한다고 올바르게 답했다. 하지만 서지 AI는 이 답변에 고객의 결정에 영향을 줄 기한이 빠졌다고 지적한다. 통상적인 규칙에서는 매각 전 5년 가운데 적어도 2년을 해당 주택에 거주해야 한다.

애나가 2024년 8월에 이사했다면 2027년 8월 말 무렵부터는 그 거주 요건을 충족하지 못하게 된다. 거래가 그 이후로 밀릴 때 자격을 잃을 수 있다는 사실은, 당장 비교 중인 두 날짜가 모두 적격이라는 답만으로는 드러나지 않는다. 아스트라(Astra)는 다섯 차례 시도에서 이 기한을 한 번도 짚지 못했고, 오퍼스(Opus)는 다섯 차례 모두 찾아냈다. 서지 AI가 보려는 것은 질문에 적힌 날짜의 판정뿐 아니라 고객이 놓친 위험까지 알려주는 전문적 판단이다.

50개 과제에 담은 세무사의 일

데이잡: 택스는 서지 AI가 앞서 의료와 금융 분야에서 선보인 데이잡 평가의 세무판이다. 과제 50개는 개인·가족, 소기업, 파트너십, 부동산·투자, 상속·증여·신탁, 국제조세, 기업 거래, 세무 검토·분쟁 등 8개 영역에 걸쳐 있다. 에이전트는 고객의 요청과 관련 기록을 받은 뒤 신고서, 작업 서류, 기술 검토 의견 또는 고객을 위한 조언을 작성한다. 어떤 과제는 제출용 서류 묶음을 요구하고, 어떤 과제는 아직 실행하지 않은 거래를 조사해 결정을 돕도록 한다.

이 과정에는 세법 지식이나 계산 능력만으로 해결하기 어려운 선택이 들어간다. 무엇을 더 조사해야 하는지 정하고, 서로 맞지 않는 증거를 대조하며, 정보가 모자라면 그 사실을 최종 결과물에 반영해야 한다. 고객의 최초 지시가 업무 범위를 완전히 정해주지 않는다는 설정도 핵심이다. 서지 AI는 한 단계의 정답보다 자료 검토에서 판단, 결과물 작성으로 이어지는 업무 전체를 평가 대상으로 삼았다.

통과율 10.8%와 엄격한 채점선

평가표에서 클로드 소네트 5.5(Claude Sonnet 5.5)가 통과율 10.8%로 1위였다. 클로드 페이블 5.1(Claude Fable 5.1)은 9.6%, 클로드 오퍼스 5.5(Claude Opus 5.5)는 9.2%로 뒤를 이었다. 서지 AI가 공개한 수치는 한 번의 시도로 통과할 확률을 뜻하는 패스@1(pass@1)이며, 과제별 채점 기준의 95% 이상을 충족해야 통과로 인정한다. 채점에는 계산뿐 아니라 근거 자료, 중대한 쟁점의 처리, 완성된 결과물의 품질이 포함된다.

이 기준에서는 한 질문에 그럴듯하게 답하는 것과 업무를 통과시키는 것이 다르다. 애나의 사례처럼 예정된 매각일의 판정이 맞아도 중요한 기한을 빠뜨리면 조언에 빈틈이 생긴다. 서지 AI는 시도당 평균 비용과 성능도 비교했으며, 소네트 5.5와 오퍼스 5.5가 측정된 파레토 전선(비용을 더 쓰지 않고는 성능을 높이기 어려운 모델들의 경계)의 고성능 쪽에 자리한다고 설명했다. 다만 높은 순위에 오른 모델도 이 평가에서는 과제 대부분을 통과하지 못했다.

1,789개 파일 속 영수증과 파견 기록

과제 작업 공간에는 파일 1,789개가 들어 있다. 과제당 중앙값은 30개이고 가장 많은 과제에는 123개가 있으며, 전체 파일에는 PDF 1,487개, 엑셀 문서 117개, 워드 문서 38개와 이메일·이미지·CSV·JSON 등이 포함된다. 제출했거나 작성 중인 신고서, K-1·W-2 서식, 미국 국세청(IRS) 통지서, 총계정원장, 급여 기록, 계약서와 서신도 검토 대상이다. 에이전트는 많은 파일을 읽는 데 그치지 않고 각 자료가 세무 판단에 어떤 의미를 갖는지 연결해야 한다.

한 과제에는 재판매용 상품을 산 뒤 손으로 쓴 영수증을 찍은 사진이 등장한다. 에이전트는 품목과 금액을 읽고 지출 기록과 맞춰 재고 및 매출원가에 미치는 영향을 판단해야 한다. 다른 과제에서는 고객이 앨라배마주에서만 일한다고 생각하는 산업용 사일로 서비스 회사의 현장 파견 기록에 5개 주의 작업 내역이 나타난다. 작업 장소와 인원, 현장 체류일수는 여러 주에 걸친 납세 의무를 검토할 단서다.

국경을 넘나드는 가구를 다루는 과제도 있다. 폴란드의 고용·부동산 기록을 암호화폐 거래소 내역, 지갑 기록, 과거 매수 자료와 대조해야 한다. 이처럼 판단에 필요한 사실은 고객의 설명 한곳에 정리돼 있지 않다. 서로 다른 형식의 기록을 읽다가 처음 요청서에 없던 세무 쟁점을 발견하는 일이 과제의 일부다.

세무 전문가가 만든 채점 기준

서지 AI는 실제 전문 업무의 흐름에서 출발해 세무 전문가들이 과제의 기록, 기대 결과와 채점 기준을 만들었다고 밝혔다. 각 과제는 정확성, 완전성, 해결 가능성을 확인하는 세 단계 전문가 검토를 거친다. 참여 전문가들의 경력은 법인세, 파트너십, 개인 신고, 신탁, 여러 주에 걸친 납세 의무를 아우른다. 원문은 대형 회계법인과 기업에서 세무 계획·신고·감사·분쟁을 다뤘거나 부동산·고액 자산가 세무를 맡은 경력을 예로 들었다.

이 설계는 에이전트가 답을 찾아갈 자료와 평가 기준을 갖추면서도, 고객의 지시만 따라서는 놓칠 수 있는 쟁점을 남겨둔다. 최종 답이 숫자 하나인 문제와 달리 신고 근거가 충분한지, 추가 확인이 필요한지, 고객에게 무엇을 경고해야 하는지도 평가할 수 있다. 서지 AI가 특히 강조하는 능력은 불완전한 지시를 받은 상태에서 조사할 문제를 스스로 찾아내는 것이다.

혼인 여부를 확인하지 않은 은퇴계좌 조언

별거 중인 한 커플은 로스 IRA(Roth IRA·미국의 개인 은퇴계좌)와 401(k)(미국의 직장 은퇴저축계좌)를 어떻게 나눌지 물었다. 오퍼스 5.5는 두 사람이 법적으로 혼인하지 않았다고 보고, 계좌는 따로 유지하되 잔액 차이는 현금으로 조정하라고 권했다. 그러나 기록에는 플로리다주로 옮기기 전 텍사스주에서 함께 살았고 콜로라도주에서 예식을 치렀다는 단서가 있었다. 텍사스주는 특정 조건에서 비공식 혼인을 인정하며, 다른 곳에서 유효하게 성립한 혼인은 플로리다주에서도 효력이 유지될 수 있다는 점이 쟁점이었다.

혼인 여부에 따라 은퇴계좌를 나눌 때의 세금 결과가 달라질 수 있다. 오퍼스는 다섯 차례 모두 미혼이라는 가정을 중심으로 권고했으며, 불확실성을 언급한 답변에서도 그 전제를 벗어나지 못했다. 반면 아스트라는 다섯 차례 중 네 차례에서 법적 혼인 상태를 확인해야 한다고 판단했다. 주택 매각 사례와 비교하면 두 모델 중 하나가 언제나 더 신중했던 것이 아니라, 어떤 숨은 쟁점을 발견하느냐에 따라 성패가 갈렸다.

정해진 질문에 답하기 전에

서지 AI는 기존 세무 평가 상당수가 먼저 풀어야 할 문제를 정해놓는다고 설명한다. 택스벤치(TaxBench)는 여러 분야에 걸친 세무 질문 114개를, 택스캘크벤치(TaxCalcBench)는 예상 신고 값과 비교한 세금 신고의 정확도를 평가한다. 택스랩(TaxLab)은 가상의 납세자에게 부족한 정보를 물어 개인 연방세 신고를 마치는 능력을 시험한다. 데이잡: 택스가 더하려는 질문은 고객이 애초에 무엇을 물어야 하는지 제대로 알고 있었느냐다.

예를 들어 작업 공간의 장부가 첨부 영수증을 가리키는데 실제 영수증은 없다면, 에이전트는 상환 지출을 확인된 사실처럼 처리하지 말고 근거가 빠졌음을 짚어야 한다. 결과물도 개인 신고서에 국한되지 않아 파트너십 손실 분석, 상속세 신고서, 다툼이 있는 세무 처리의 검토 의견이나 전략 서한이 될 수 있다. 서지 AI는 이번 결과를 근거로, 최첨단 모델도 개별 단계의 수행 능력을 전문 세무 업무 전체의 신뢰성으로 이어가는 데 어려움을 겪는다고 평가했다. 이 벤치마크에서 마지막까지 책임지고 일을 마치는 능력은 아직 낮은 통과율에 머물러 있다.

커뮤니티 의견

한 사용자는 IRS 세금 서식과 계산표의 규칙을 형식화하는 작업을 진행 중이라고 했다. 미국 연방세 상황의 약 60%를 다루는 것으로 추산하며, 이를 공개적으로 유지되는 세금 신고 도구로 발전시킬 수 있다고 봤다. 답글에서는 대형 AI 개발사가 데이터를 충분히 모으면 같은 일을 쉽게 할 수 있지 않겠느냐는 질문도 나왔다.

다른 사용자는 아스트라와 코덱스(Codex)로 복잡한 신고 내용을 정리한 뒤 회계사에게 서식 작성을 맡겼는데, 코덱스로 최종본을 검토하자 여러 오류를 찾았다고 했다. 환급액이 받아야 할 금액보다 약 2,000달러 적었고 일부 항목은 잘못된 칸에 들어가 있었다는 경험이다. 또 다른 답글도 AI 검토로 회계사의 오류를 찾았다고 했지만, 이런 사례는 벤치마크의 낮은 통과율과 대비된다는 지적이 이어졌다.

해외에 사는 미국 시민이라는 사용자는 클로드(Claude)에 자신이 작성한 신고서와 증빙을 검토시켜 잘못된 환율과 논쟁적인 세무 처리를 발견했다고 했다. 반면 클로드가 맥락을 몰라 정상적인 항목을 오류로 의심하거나, 예상 세액을 크게 잘못 계산한 경험도 전했다. 이 사용자는 AI를 유용한 검토 도구로 평가하면서도 서류를 모두 넣고 검증 없이 완성된 신고서를 기대해서는 안 된다고 봤다.

회계사의 잘못된 신고로 약 2만 달러의 손해를 뒤늦게 알았다는 사용자도 있었다. 이 사용자는 현재 모델이 같은 실수를 피했을지는 모르지만, 오류를 찾아 비용을 아낄 여지가 있다고 봤다. 답글은 오류가 났을 때 누가 책임질 것인지가 여전히 남는 문제라고 짚었다.

한 사용자는 회계 업무를 이해한 뒤 자신의 업무에 맞춘 소프트웨어를 만들고, 코덱스에는 증빙 연결과 날짜·금액 수정 같은 반복 작업을 맡겼다고 했다. 에이전트는 실제 데이터베이스가 아닌 복사본에서 명령문을 만들고, 사용자가 검토한 뒤 운영 데이터베이스에 적용하는 방식이다. 이 사용자는 지금까지 결과가 좋았다며, 모델에게 시키는 일을 사람이 이해하는 것이 중요하다고 강조했다.

평가 방식 자체에 의문을 제기한 사용자도 있었다. 범용 에이전트에 문서와 과제를 주는 방식보다는 세무 업무에 맞게 설계된 실행 환경에서 모델이 어디까지 해낼 수 있는지를 봐야 한다는 주장이다. 이에 다른 사용자는 실제 사람들이 생성형 AI로 세금을 처리할 때도 자료와 질문을 그대로 맡기는 경우가 많지 않겠느냐고 반박했다.

회계사들이 AI에 초안을 맡기지 않더라도 기본적인 검토에 활용할 수 있지 않느냐는 의견도 나왔다. 답글에서는 계약, 책임, 법적 문제와 함께 고객의 재무 문서를 회계사가 선택한 AI 모델에 입력해도 되는지가 걸림돌로 제시됐다. 모델이 오류를 찾는 능력과 실제 업무에 안전하게 투입하는 일은 별개의 결정이라는 관점이다.

핵심통찰

데이잡: 택스의 낮은 통과율은 AI가 세무 업무에 쓸모없다는 결론보다, ‘오류를 찾는 도구’와 ‘업무를 책임지는 담당자’ 사이의 거리를 보여준다. 토론에서 이용자들은 AI로 회계사의 실수를 잡아냈지만, 동시에 AI의 계산과 해석을 다시 확인해야 했다고 말했다. 앞으로 눈여겨볼 것은 모델의 단독 통과율만이 아니다. 빠진 근거를 표시하고 중요한 확인 질문을 제기하며, 사람이 최종 판단할 수 있도록 작업 과정을 남기는 방식이 실제 세무 업무에서 얼마나 안정적으로 작동하는지가 관건이다.


원본: DAYJOB: Tax — Benchmarking AI Agents on Professional Tax Work | Surge AI

토론: Hacker News