AI 코딩 에이전트는 기업의 코드 생산량을 늘렸지만, 완료된 소프트웨어 작업은 그만큼 늘리지 못했다. 하버드대학교(Harvard University) 연구진은 700곳이 넘는 소프트웨어 개발 기업의 작업 기록을 분석해, 에이전트 도입 뒤 코드 검토 시간이 길어지는 현상을 확인했다. 아스 테크니카(Ars Technica)가 소개한 이 연구는 AI가 코드를 빨리 쓰면 팀도 더 빨리 결과물을 낼 것이라는 기대에 질문을 던진다. 병목이 사라진 것이 아니라 작성 단계에서 검토 단계로 옮겨갔다는 것이다.
핵심요약
- 하버드대 연구진은 700곳이 넘는 기업의 작업 기록을 분석해 AI 코딩 도구 도입 전후의 변화를 비교했으며, 코드 생산 증가가 완료된 작업 증가로 이어지지는 않았다고 밝혔다.
- AI 코딩 에이전트 도입 뒤 코드 줄 수는 평균 30%, 커밋은 20%, 풀 리퀘스트는 23% 늘었지만, 작업 관리 도구에서 추적한 이슈와 에픽의 완료율에는 통계적으로 유의미한 변화가 없었다.
- 풀 리퀘스트 제출부터 코드베이스에 병합되기까지 걸린 검토 시간은 평균 49% 늘어, 작성 속도 향상이 후속 과정의 부담으로 옮겨갔음을 보여준다.
- 변경 요청을 받은 풀 리퀘스트의 비중은 거의 두 배가 되고 건당 댓글은 35% 늘었으며, 코드 검토에 참여하는 직원의 비중도 14% 증가했다.
- 연구진은 AI 도입에 따른 유의미한 고용 변화를 확인하지 못했고, 토론 참가자들은 검토 방식과 성과 측정 기준에 따라 결과 해석이 달라질 수 있다고 지적했다.
코드를 쓰는 속도와 제품을 내는 속도
AI 코딩 도구는 작동하는 코드를 빠르게, 많이 만들어낼 수 있다. 그러나 기업의 개발 작업은 코드 작성으로 끝나지 않는다. 변경사항을 살피고, 고칠 부분을 요청하고, 기존 코드에 합치는 과정까지 지나야 한다. 연구가 주목한 것은 바로 이 뒤쪽 단계에서 늘어난 시간이 앞쪽 단계에서 아낀 시간을 얼마나 상쇄하는가다.
이 구분은 ‘코드가 더 많다’와 ‘소프트웨어가 더 나왔다’를 같은 말로 취급하지 않게 한다. 개발자가 제출한 코드가 늘어도 검토 대기나 수정 요청이 함께 늘면 완료된 작업의 속도는 달라지지 않을 수 있다. 필자가 소개한 연구의 결론도 코드 생산 증가 자체를 부정하는 것이 아니다. 그 증가가 기업 단위의 완료 작업이나 고용 변화로 뚜렷하게 이어지지 않았다는 데 초점이 있다.
코드 검토는 AI가 작성한 결과를 실제 제품에 반영하기 전 거치는 관문이다. 에이전트가 새 코드를 계속 제출할수록 검토자에게 돌아가는 판단도 늘어난다. 따라서 도구의 효율을 평가하려면 코드를 만드는 데 걸린 시간뿐 아니라, 제출된 변경사항이 받아들여질 때까지의 시간도 함께 봐야 한다.
3억 건의 작업 기록을 비교하다
하버드대의 피오나 첸(Fiona Chen)과 제임스 스트래턴(James Stratton)은 엔지니어링 팀의 작업을 측정하는 젤리피시(Jellyfish)의 집계 분석 데이터를 사용했다. 자료에는 2021년부터 2026년 3월까지 관련 소프트웨어 개발 기업 700곳 이상, 직원 70만 명 이상에 걸친 약 3억 건의 개별 작업 기록이 담겼다. 커밋(코드 변경을 기록한 단위), 풀 리퀘스트(코드 변경사항을 기존 코드에 합쳐 달라는 요청), 이슈 관리 기록 등이 분석 대상이었다.
연구진은 직접 측정한 AI 사용 기록과 GitHub 활동 분석을 함께 이용해 각 기업이 도구를 언제 도입했는지 파악했다. 여기서 코딩 보조 도구는 사람이 주로 작성하는 코드를 자동 완성하는 도구이고, 코딩 에이전트는 지시를 받아 코드를 주로 스스로 작성하고 제출하는 도구다. 둘은 개발 과정에 개입하는 범위가 다르므로, 단순히 ‘AI 코딩 도구’ 하나로 묶어 보면 변화가 흐려질 수 있다.
기업마다 도입 시점이 다른 점을 이용해 연구진은 도입 전후의 변화를 비교했다. 분석에는 이중차분(집단별 전후 변화의 차이를 비교하는 방법) 회귀를 적용했다. 이 방식으로 코드 생산, 작업 완료, 검토 과정에서 어떤 변화가 나타났는지 각각 살폈다. 연구가 다루는 대상은 도구의 시연 성능이 아니라 기업의 일상적인 개발 흐름에서 남은 작업 기록이다.
코드 줄 수는 늘고 완료율은 그대로
코딩 에이전트를 도입한 기업에서는 생성된 코드의 전체 줄 수가 평균 30% 늘었다. 커밋 수는 20%, 풀 리퀘스트 수는 23% 증가했다. 코드를 쓰고 변경사항을 제출하는 단계만 놓고 보면 생산량 증가는 뚜렷하다. 에이전트가 개발자의 손을 거쳐 나오던 작업의 일부를 빠르게 처리한다는 기대와 맞닿는 수치다.
그러나 지라(Jira) 같은 도구에서 추적하는 이슈와 에픽의 완료율은 통계적으로 유의미하게 달라지지 않았다. 에픽은 여러 작업을 아우르는 큰 기능 단위다. 연구진은 도구 도입 전후에 추적 대상 작업의 크기나 복잡도가 달라지는 구성 변화도 발견하지 못했다. 완료 건수가 그대로인 이유를 단순히 더 큰 작업을 맡기 시작했기 때문이라고 설명하기 어려운 대목이다.
두 지표가 가리키는 지점은 서로 다르다. 코드 줄 수와 커밋은 작성·제출 단계의 활동을, 이슈와 에픽의 완료는 관리 도구에 기록된 작업의 마무리를 보여준다. 이번 분석에서 늘어난 것은 앞쪽의 활동이었다. 기업이 코드를 더 많이 다루게 됐지만 추적된 작업을 더 많이 끝내지는 못했다는 결과다.
검토에 49% 더 걸린 이유
연구진이 주목한 병목은 풀 리퀘스트의 검토 과정이다. 에이전트 도입 뒤 풀 리퀘스트가 제출된 시점부터 코드베이스에 병합될 때까지 걸린 시간은 평균 49% 늘었다. 변경사항을 내는 속도가 빨라진 만큼 이를 받아들이는 과정도 빨라지지는 않은 셈이다. 검토 시간의 증가는 코드 생산량과 완료율이 다르게 움직인 배경을 보여준다.
검토 과정의 세부 기록도 같은 방향을 가리킨다. 수정을 요청받은 풀 리퀘스트의 비중은 거의 두 배가 됐고, 풀 리퀘스트당 댓글 수는 35% 증가했다. 검토자는 제출된 코드를 단순히 통과시키기보다 더 많은 지적과 수정을 주고받았다. 이 과정에 참여하는 직원의 비중 역시 에이전트 도입 뒤 14% 늘었다.
이 수치가 모든 AI 생성 코드에 동일한 문제가 있다는 뜻은 아니다. 다만 기업 전체로 보면 작성 단계의 처리량 증가가 후속 검토의 처리량 증가를 앞질렀다. 코드를 만드는 일이 쉬워질수록, 무엇을 합칠지 판단하고 수정 사항을 확인하는 일이 전체 속도를 좌우하게 된다. 연구진이 말한 ‘병목’은 바로 그 제출과 병합 사이에 있다.
AI 검토가 아직 메우지 못한 간격
AI를 검토에도 투입하면 늘어난 부담을 줄일 수 있다는 기대가 있다. 실제로 2026년 3월 기준 측정 대상 기업의 80%는 어떤 형태로든 AI 코드 검토를 사용했다. 그러나 연구에서 AI 에이전트가 작성한 검토 댓글은 전체의 23.3%였고, AI 에이전트가 맡은 풀 리퀘스트는 전체의 10.8%였다. 검토 작업의 대부분은 여전히 사람에게 남아 있었다.
연구진은 젤리피시에서 확인한 전체 활동 인력과 링크드인(LinkedIn) 자료도 대조했다. 그 결과 AI 도입으로 인한 유의미한 고용 변화를 찾아내지 못했다고 밝혔다. 코드가 더 많이 생산되는 동안 검토에 참여하는 인력의 비중은 늘었지만, 기업의 고용 규모가 뚜렷하게 바뀌었다는 결과는 나오지 않은 것이다.
따라서 현시점의 변화는 사람을 검토 과정에서 빼는 것보다 사람이 맡는 일의 배치를 바꾸는 모습에 가깝다. 에이전트가 코드 작성과 제출을 늘리면 검토자는 더 많은 변경사항을 판단해야 한다. AI 검토가 널리 도입됐다는 사실과, 그 검토가 전체 과정을 충분히 빠르게 만들었다는 것은 다른 이야기다.
아직 배우는 중인 개발팀
조사 대상 기업의 95%는 분석 시점까지 AI 코딩 에이전트를 도입했다. 하지만 도입률이 높다고 해서 모든 팀이 어떤 작업에 에이전트를 쓰고, 결과를 어떻게 검토할지에 관한 운영 방식을 정착시킨 것은 아니다. 필자는 개발팀이 도구의 장단점을 익히면서 코드 작성 시간과 검토 시간 사이의 균형도 달라질 수 있다고 본다.
자료가 끝나는 시점은 2026년 3월이며, 필자는 그 뒤에도 에이전트의 출력 품질에 상당한 업데이트가 있었다고 짚었다. 연구 결과는 도구의 가능성이 멈췄다는 선언보다는, 당시 기업들의 업무 흐름에서 확인된 마찰을 보여준다. 앞으로 개선을 판단할 때도 코드 생산량만 보면 같은 질문이 남는다. 늘어난 코드가 검토를 통과해 완료된 작업으로 이어지는지를 봐야 한다.
필자는 현재까지의 결과를 양날의 검으로 정리한다. 작성 속도가 빨라졌지만 사람의 검토 시간과 노력도 함께 늘었기 때문이다. 에이전트를 도입하고 운영하는 데 드는 시간과 비용이 대부분의 기업에 값어치를 하는지 묻게 되는 이유다. 결국 성과는 에이전트가 얼마나 많이 작성하느냐뿐 아니라, 팀이 그 결과를 얼마나 잘 받아들일 수 있느냐에 달려 있다.
커뮤니티 의견
한 사용자는 실무에서도 코드 검토가 이미 큰 병목이었고 에이전트 도입 뒤 더 심해졌다고 했다. 자동 검토를 늘리는 방안을 논의했지만 아직 실질적인 개선은 보지 못했다고 덧붙였다. 그는 기존 팀보다 처음부터 사람의 검토 없이 일하도록 설계한 신생 기업에서 검토 문화의 변화가 먼저 나타날 수 있다고 내다봤다.
다른 사용자는 에이전트가 코드를 더 많이 만들 뿐, 반드시 더 좋은 코드를 만들지는 않는다고 지적했다. 반복되는 코드와 부족한 구조 개선, 불필요하게 많은 주석이 결과물을 읽고 유지하기 어렵게 만든다는 설명이다. 그는 범위가 좁고 다른 코드와 분리된 작업에서는 유용했지만, 큰 코드베이스에서는 작은 변경이 넓게 번지지 않도록 관리하는 일이 번거로웠다고 했다.
연구 시점에 관한 이견도 나왔다. 한 사용자는 주요 결과가 도구 도입 초기의 모습을 많이 반영하며, 기업이 적절한 검토 절차를 갖추기 전의 효과에 무게가 실렸다고 봤다. 이에 연구가 에이전트 코딩 시대에 맞춰 갱신된 뒤에도 코드 작성은 빨라지고 검토가 병목이 되는 흐름은 비슷했다는 답글이 달렸다.
한 사용자는 더 강한 엔진을 만들어도 타이어가 한계라면 자동차 전체가 크게 빨라지지 않는다는 비유를 들었다. 소프트웨어 개발에서 코딩은 전체 작업의 일부이므로 그 부분을 자동화해도 나머지 과정의 제약이 남는다는 주장이다. 그는 코드를 누가 쓰든 설계와 개발의 기본적인 판단은 계속 중요하다고 봤다.
코드 검토의 목적을 속도나 버그 발견만으로 볼 수 없다는 의견도 있었다. 한 사용자는 검토가 변경사항의 책임과 보안을 확인하는 과정이며, AI가 코드가 지시대로 작동하는지 살펴도 그 지시 자체가 옳은지까지 보장하지는 못한다고 했다. 이에 줄마다 읽기보다 사람이 API 설계와 테스트에 책임을 지는 방식으로 검토 대상을 옮길 수 있다는 답글이 나왔다.
반대로 자신이 속한 팀은 더 많은 소프트웨어를 만들고 더 큰 목표에도 도전하고 있다는 사용자도 있었다. 그는 명세, 설계, 성능, 테스트, 품질 보증에 관한 지침과 도구를 미리 갖춘 덕분에 제품을 시험하고 다듬는 데 시간을 더 쓸 수 있게 됐다고 설명했다. 에이전트만 추가하는 것과 작업을 이끌 절차까지 준비하는 것은 다르다는 관점이다.
검토 부담을 줄이기 위해 다른 AI로 먼저 점검하고, 사람이 짧게 확인하되 보안상 중요한 부분은 철저히 검토하자는 의견도 나왔다. 이 사용자는 언어의 제약이나 자동 검사 가능한 규칙으로 위험 범위를 줄여 성과를 낸 작은 신생 기업을 봤다고 했다. 다만 그 기업도 AI만 도입한 것이 아니라 요구사항을 정리하는 일까지 신경 썼으며, 본인은 이 방식의 장기적인 결과를 지켜봐야 한다고 덧붙였다.
마지막으로 ‘소프트웨어를 더 만든다’는 기준 자체를 묻는 의견이 있었다. 한 사용자는 연구가 관리 도구에서 완료된 작업을 성과로 보는데, 에이전트 덕분에 추가로 작성한 테스트가 그 작업 항목에 반영되는지 따져봐야 한다고 지적했다. 이는 기업의 완료율이라는 지표가 유용하더라도, 개발 과정에서 늘어난 모든 산출물을 담지는 않을 수 있다는 문제 제기다.
핵심통찰
이번 연구가 보여주는 변화는 코딩의 종말이 아니라 개발팀이 시간을 쓰는 지점의 이동이다. 에이전트가 작성과 제출을 빠르게 만들수록 검토, 수정, 병합을 감당하는 능력이 전체 속도를 결정한다. 다만 완료된 작업만으로 성과를 재면 추가 테스트나 개인 프로젝트에서 얻은 이익은 놓칠 수 있다. 앞으로 살필 것은 코드 줄 수보다 검토를 거쳐 끝난 작업의 변화, 그리고 AI가 만든 코드에 대한 판단과 책임을 팀이 어떻게 나누는가다.
원본: AI coding agents generate more code, but not more software
토론: Hacker News