AI가 만든 코드는 왜 쉽게 깨지는가

AI로 코드를 대량 생성하면 개발 속도는 빨라져도 서비스의 코드베이스는 쉽게 깨지는 상태가 될 수 있다. 메타(Meta)에서 일했던 개발자는 자신도 업무 코드의 대부분을 AI로 만들었지만, 테스트의 빈틈과 복잡한 구현이 쌓이는 모습을 봤다고 주장했다. 지금도 다른 대형 기술기업에서 코드를 전부 AI로 생성한다는 그의 글은 AI 사용 여부보다 생성된 코드를 누가 이해하고 검증할 것인가를 묻는다. 해커뉴스(Hacker News) 토론에서는 이 문제를 AI의 한계로 볼지, 기존 개발 관행의 연장으로 볼지를 두고 의견이 갈렸다.

핵심요약

  • 필자는 메타 근무 마지막 몇 달 동안 코드의 최소 90%를 AI로 생성했지만, 작성량이 두 배로 늘지도 않았으며 품질을 지키는 일이 더 중요했다고 말한다.
  • AI가 작성한 테스트는 실행한 코드 줄의 비율은 높여도 실제 사용자의 다양한 행동을 놓칠 수 있어, 테스트 수치와 서비스의 안전성이 어긋날 수 있다.
  • 불필요한 추상화와 빨라진 코드 검토 속도가 겹치면 개발자가 구조를 이해하기 어려워지고, 작은 결함이 장기적인 기술 부채로 쌓인다는 것이 필자의 주장이다.
  • 필자는 장애 증가와 복구 지연, 포착되지 않는 오류, 사용자와 개발자 모두에게 불편한 제품을 취약한 코드베이스의 징후로 제시한다.
  • 토론에서는 AI 코드의 위험을 인정하면서도, 검증 절차를 강화하거나 AI에 맞춰 검토 방식을 바꿔야 한다는 반론이 나왔다.

코드의 90%를 생성해도 두 배 빠르지 않았다

필자는 메타에서 해고된 이유를 알 수 없지만, 동료들보다 코딩 도구로서 AI를 받아들이는 데 조심스러웠던 점이 영향을 줬을지 모른다고 추측한다. 다만 그는 근무 마지막 몇 달 동안 자신이 작성한 코드의 최소 90%를 AI로 생성했다고 밝혔다. 그 정도는 좋은 평가를 받기 위한 최소 수준이었다는 설명이다. AI를 많이 썼어도 코드 작성량은 열 배는커녕 두 배로 늘지 않았고, 그는 그보다 코드 품질에 주의를 기울였다고 말한다.

그가 본 동료의 코드에는 시간이 지나면 수정 비용으로 돌아올 기술 부채(나중에 해결해야 할 설계·구현상의 문제)가 숨어 있었다. 한 개발자는 단순한 마우스 올리기 효과를 CSS의 :hover 선택자 대신 자바스크립트(JavaScript) 이벤트로 구현한 코드를 합치려 했다고 한다. 필자는 이를 작은 화면 효과에도 불필요하게 복잡한 방식을 택한 사례로 든다. 현재 다른 대형 기술기업에서 일하는 그는 업무상 기대에 맞춰 코드를 100% AI로 생성하지만, 대규모 SaaS(서비스형 소프트웨어)를 이런 방식으로 계속 개발할 수 있을지 의문을 제기한다.

테스트는 많아도 사용자는 빠진다

필자가 지목한 첫 번째 취약점은 테스트가 중요한 장면을 비켜간다는 것이다. AI 코딩 에이전트(코드 작성과 수정 작업을 맡는 AI 도구)는 값을 읽고 저장하는 단순한 메서드의 테스트를 많이 만들지만, 필자는 이런 부분에는 대개 많은 테스트가 필요하지 않다고 본다. 반면 E2E 테스트(사용자 흐름을 처음부터 끝까지 확인하는 테스트)를 작성할 때는 이미 코드에 반영된 경우만 되풀이하기 쉽다. 테스트 파일의 수가 늘어도 실제 사용자의 다양한 경로를 확인했다는 뜻은 아닌 셈이다.

예컨대 한 종류의 사용자나 화면에 드러난 상호작용만 검사하면, 그 밖의 사용 방식은 통째로 빠질 수 있다. 필자는 이런 공백이 라인 커버리지(테스트가 실행한 코드 줄의 비율)에는 나타나지 않아 개발자가 알아채기 어렵다고 지적한다. 숫자로 표시되는 테스트 범위와 사람이 중요하게 여기는 동작의 범위가 서로 다른 것이다. 코드가 실행됐는지만 확인하는 검사로는 사용자가 겪을 문제를 모두 발견할 수 없다는 게 그의 설명이다.

헬퍼 함수가 늘수록 읽기는 어려워진다

두 번째 문제는 필요 이상으로 복잡한 구현이다. 필자는 하나의 보조 함수로 끝낼 일을 AI가 두세 개로 나눠 작성하는 경우를 자주 봤다고 한다. 중복을 줄이라는 DRY(같은 코드를 반복하지 말자는 원칙) 같은 지침도 지나치게 따를 수 있다. 원칙을 지킨 듯한 코드가 오히려 사람이 흐름을 따라가거나 오류를 고치기 어려운 코드가 될 수 있다는 주장이다.

이 복잡성은 세 번째 문제인 개발자의 이해 부족으로 이어진다. AI가 코드를 계속 생성할수록 코드베이스의 자료구조와 알고리즘을 깊이 아는 개발자는 줄어든다고 필자는 말한다. 그러면 새 풀 리퀘스트(PR·코드 변경 제안)에 들어간 추상화가 기존 구조와 맞지 않아도 놓치기 쉽다. AI가 당장의 문제를 한 번에 처리할 수 있는 컨텍스트 창(한 번에 다룰 수 있는 정보 범위) 안에서는 잘 풀어도, 오랜 기간 쌓인 구조적 문제까지 살피지는 못한다는 것이 그의 판단이다.

빨라지는 PR, 얕아지는 검토

네 번째 취약점은 코드가 검토 속도보다 빨리 쌓인다는 데 있다. 필자는 AI가 만든 PR이 빠르게 들어오면 개발자가 각 변경 사항을 살필 시간이 줄어든다고 말한다. 검토가 훑어보는 수준에 그치면 중요한 세부 사항을 놓치고, 테스트의 빈틈이나 부정확한 변수 이름 같은 작은 문제가 남는다. 각각은 사소해 보여도 누적되면 구조를 파악하기 어려운 코드가 된다.

이 주장은 AI가 코드를 작성해서 문제가 생긴다는 설명에 그치지 않는다. 작성량이 늘어나는 만큼 검토할 사람의 시간과 코드에 대한 이해도 따라 늘어야 한다는 이야기다. 필자는 개발자가 코드를 충분히 들여다보지 못하면 새 변경이 기존 설계에 맞는지 판단하기 어려워진다고 본다. 코드 생성 속도가 높아졌을 때 품질을 유지하려면 무엇을 얼마나 꼼꼼히 확인할지부터 달라져야 한다는 문제 제기다.

장애가 늘고 복구가 늦어진다면

필자는 취약해진 코드베이스를 알아볼 첫 징후로 고객에게 영향을 주는 장애의 증가를 꼽는다. 에이전트를 도입한 초기에는 PR이 합쳐지고 서비스도 돌아가므로 이전과 크게 달라 보이지 않을 수 있다. 하지만 그의 설명에서는 시간이 흐를수록 장애가 잦아지며, 주말마다 문제가 발생하는 상태까지 이어진다. 이는 특정 조직의 장애 건수를 집계한 결과라기보다, 그가 경고하는 악화의 흐름을 보여주는 서술이다.

두 번째 징후는 장애를 해결하는 데 걸리는 시간이 길어진다는 점이다. AI 에이전트가 고객이 겪는 문제를 찾아내지 못하면 사람이 복잡하고 테스트가 부족한 코드를 직접 파고들어야 한다. 그런데 평소 코드를 깊이 이해하지 못한 개발자에게는 그 작업이 낯선 영역을 탐색하는 일이 된다. 필자는 장애가 늘어나는 데 복구 지연까지 겹치면 기업의 손실도 커진다고 주장한다.

보이지 않는 오류와 사람의 손길

세 번째 징후는 테스트나 개발자의 수동 점검에는 잡히지 않고 실제 사용자에게만 드러나는 오류다. 필자는 사람이 코드에서 멀어지면 사용 사례를 충분히 보지 못하고, 사용자 행동을 기록하는 계측이나 오류 포착이 제대로 이뤄지는지도 놓칠 수 있다고 말한다. 마지막 징후는 제품이 사용자에게도, 이를 유지보수할 개발자에게도 맞춰지지 않는 상태다. 그는 이를 AI가 AI를 위해 만든 소프트웨어에 가까워지는 과정으로 묘사한다.

필자는 좋은 SaaS 제품에는 사람의 관점이 계속 들어가야 한다고 강조한다. 사용자가 어떻게 제품을 쓰는지 살피고, 개발자가 고칠 수 있는 형태로 코드를 다듬는 일을 기계에 전부 맡길 수는 없다는 것이다. 저렴한 가격만으로 경쟁하는 제품이라면 다른 선택을 할 수 있지만, 품질을 앞세우는 제품에는 개발자의 손길이 남을 것이라고 그는 전망한다. 그의 결론은 AI 사용 자체를 중단하자는 것보다, 속도를 이유로 사람의 판단을 개발 과정에서 빼서는 안 된다는 주장에 가깝다.

커뮤니티 의견

한 사용자는 기업의 코드 품질이 AI 이전부터 사업 일정과 충돌해 왔다고 했다. 20년 넘게 개발한 자신도 지금은 AI로 코드를 작성하며, 직접 구현하는 대신 관리와 설계에 경험을 쓰고 있다고 설명했다. 그의 관점에서 AI는 새 문제의 유일한 원인이 아니라, 속도를 우선하던 기존 업무 방식의 연장이다.

다음 사용자는 글이 최근 코딩 모델의 변화를 반영하지 못한다고 반박했다. 테스트가 얕거나 코드가 과하게 복잡하다면 AI에 과도한 설계를 피하라고 지시할 수 있고, 코드 작성뿐 아니라 검토 능력도 나아지고 있다는 주장이다. 사람이 모든 줄을 검토해야 한다는 전제 자체를 다시 볼 필요가 있다고 했다.

또 다른 사용자는 유지보수성을 확인하기 위해 필자가 어떤 검증 절차를 만들었는지 물었다. 자신도 AI로 PR을 빠르게 만들다가 복잡한 코드베이스를 만든 적이 있지만, 이후 정확성·성능·보안·운영 비용·유지보수성을 확인하는 절차를 강화하고 있다고 설명했다. 이 댓글에 필자는 메타에서 AI를 활용해 이런 문제를 대규모로 다루는 도구를 만들었으나, 그것만으로 문제가 해결된다고 생각하지는 않는다고 답했다.

한 사용자는 코드 품질 문제가 평소에는 드러나지 않다가, 기존 기능을 깨뜨리지 않고 무언가를 바꾸기 어려워질 때 비로소 중요해진다고 지적했다. 복잡한 코드를 읽는 데 쓰는 AI 토큰이 늘어나는 것 또한 징후로 들었다. 답글에서는 AI 이전의 오래된 코드베이스에도 같은 문제가 있었으며, 기업이 복잡해진 소프트웨어를 다시 쓰는 일을 반복할 수 있다는 의견이 나왔다.

필자의 선택을 되묻는 의견도 있었다. 코드를 100% AI로 생성하면서 AI 코드베이스의 취약성을 경고한다면, 취약해지는 결과를 피할 수 없다고 보는 것인지 분명하지 않다는 지적이다. 이 사용자는 지금의 업무상 기대가 결국 바뀌어야 한다는 뜻인지 질문했다.

다른 사용자는 사람이 손으로 작성한 대형 코드베이스도 원래 쉽게 복잡해졌다고 했다. 개발자가 늘고 일정에 쫓기며 기존 기능을 망가뜨릴까 봐 구조 개선을 미루는 과정에서, AI가 없어도 읽기 어려운 코드가 생긴다는 설명이다. 따라서 AI 코드에도 기존에 적용했어야 할 품질 검증 기준을 적용해야 하며, 많은 회사가 그 기준을 충분히 지키지 않았다고 주장했다.

코드를 직접 들여다보는 개발자의 호기심이 줄어든다는 우려도 나왔다. 한 사용자는 개발자가 이곳저곳을 살펴보다 쓰이지 않는 코드나 비효율적인 구조를 발견하곤 하는데, AI가 작업을 대신하면 그런 기회가 사라진다고 했다. 답글에서는 시간을 따로 내면 탐색은 계속할 수 있으며, AI가 예상 밖의 대규모 수정을 제안할 때 오히려 사람이 구조를 먼저 살펴볼 필요가 있다는 의견이 붙었다.

마지막으로 한 사용자는 정적 분석(코드를 실행하지 않고 검사하는 방법)과 린터(정해진 규칙에 따라 코드를 점검하는 도구)의 역할이 커질 것이라고 봤다. 필자가 든 마우스 올리기 효과 사례처럼 자바스크립트 이벤트를 불필요하게 쓴 코드를 자동으로 찾아 검사를 통과하지 못하게 하자는 제안이다. 과거에는 드문 실수를 잡기 위한 과한 규칙이었더라도, AI가 코드를 많이 만드는 환경에서는 유용할 수 있다는 논리다.

핵심통찰

AI 코딩을 둘러싼 핵심 쟁점은 코드의 작성자가 사람인지 기계인지보다, 늘어난 변경량을 어떻게 검증하고 이해할 것인지에 있다. 필자는 테스트 수치 뒤에 숨은 사용자 경로와 복구하기 어려운 장애를 경고하고, 토론 참여자들은 검증 절차와 개발 방식의 변화를 해법으로 제시한다. 앞으로 눈여겨볼 것은 생성된 PR의 양이 아니라 실제 장애의 빈도와 복구 시간, 놓친 오류, 그리고 개발자가 코드를 바꿀 때 기존 기능에 미칠 영향을 설명할 수 있는지다.


원본: AI usage generates a fragile codebase

토론: Hacker News