AI 에이전트에 판단까지 맡기지 않으려면

AI 에이전트가 코드를 빠르게 완성할수록 개발자가 그 코드를 이해하지 못한 채 승인할 위험도 커진다. 개발자 쿠날(Kunal)은 에이전트의 결과를 비판 없이 받아들이는 태도를 ‘인지적 항복’이라고 부르며, 속도에 취해 설계 판단과 시스템에 대한 감각을 잃는 자신의 경험을 짚었다. 그는 AI 사용을 줄이자고 주장하지 않는다. 대신 어떤 작업을 맡기고 어디서 사람이 직접 판단할지 정해야, 빨라진 개발 속도를 오래 유지할 수 있다고 말한다.

핵심요약

  • 쿠날은 에이전트의 결과를 생각 없이 승인하면 개발은 빨라져도 기술 부채와 시스템 이해 부족이 쌓인다고 말한다.
  • 에이전트가 코드를 만드는 시간을 줄여도 사람이 시스템을 이해하는 데 드는 시간까지 사라지지는 않는다는 것이 글의 핵심 주장이다.
  • 그는 작업의 위험과 복잡도에 따라 위임 범위를 정하고, 중요한 변경에서는 사람이 설계와 수정을 직접 이끌자고 제안한다.
  • 작업을 맡길 때도 관측 지표, 독립적인 검증 도구, 부작용 없는 시험 환경을 마련해야 결과를 확인할 수 있다고 강조한다.
  • 토론에서는 AI가 비전문가의 개발을 돕는다는 평가와 코드의 비대화·역량 약화를 걱정하는 의견이 함께 나왔다.

빠른 코드 생산이 주는 유혹

쿠날이 말하는 인지적 항복은 에이전트가 내놓은 답을 충분히 생각하거나 대안을 살피지 않고 받아들이는 상태다. 그는 오랫동안 가장 짧고 단순한 해결책을 찾도록 훈련한 개발자에게 문제 전체를 넘길 수 있는 도구가 매력적인 것은 당연하다고 본다. 동료들이 에이전트로 더 많은 PR(코드 변경을 검토·반영해 달라는 요청)을 내보내는 상황에서는, 자신만 코드를 이해하느라 시간을 쓰는 듯한 압박도 생긴다.

눈에 보이는 생산량은 이 선택을 더 그럴듯하게 만든다. 하루에 처리하는 PR이 늘면 일의 속도가 높아졌다는 사실은 쉽게 확인할 수 있지만, 그 변경이 나중에 얼마나 다루기 어려워질지는 즉시 드러나지 않는다. 쿠날은 에이전트의 확신에 찬 답변까지 더해지면 개발자가 권고를 그대로 받아들이기 쉬워진다고 말한다. 잘못을 인정할 때조차 태연한 모델의 말투가 판단을 대신해서는 안 된다는 지적이다.

시간 압박을 받는 오픈소스 프로젝트에서는 이 흐름이 스스로를 강화할 수 있다. 에이전트가 코드를 늘리고 구조를 복잡하게 만들수록, 사람이 프로젝트를 파악할 시간이 부족해져 다시 에이전트에 의존하게 된다. 쿠날은 성의 없이 대량 생산된 AI 생성물을 뜻하는 슬롭(slop)이 남긴 복잡성이 곧바로 문제를 일으키기보다, 뒤늦게 기술 부채로 쌓인다고 본다.

이해하지 못한 시스템을 책임질 때

그가 위임 자체를 잘못이라고 보는 것은 아니다. 자신이 설계 방향을 아는 영역에서는 에이전트가 만든 결과를 크게 단순화할 수 있지만, 모르는 영역에서는 같은 결과가 뛰어난 해법처럼 보인다고 한다. 그러다 에이전트가 디렉터리를 만드는 간단한 작업에서 막히면, 앞서 그 판단을 신뢰했던 근거까지 다시 살피게 된다. 쿠날은 이런 경험을 한 분야의 명백한 오류를 보고도 다른 분야에서는 같은 출처를 믿게 되는 ‘겔만 기억상실’에 빗댄다.

그가 특히 경계하는 것은 대체로 작동하지만 예상 밖의 예외와 버그를 품은 거대한 코드베이스다. 개념 증명용이라면 그런 복잡성을 감수할 수 있어도, 계속 운영할 시스템이라면 단순하고 모듈화된 설계가 필요하다고 주장한다. 모델이 발전하면 코드 품질 문제는 줄어들 수 있다고 보면서도, 사람이 시스템을 직접 만들며 익히던 작동 감각의 약화는 별개의 문제로 남는다고 본다.

직접 만든 시스템에서는 오류가 났을 때 어느 부분부터 살펴볼지 경험으로 짐작할 수 있다. 반면 수정까지 에이전트에 맡기면 문제를 해결하는 동안에도 자신의 이해는 늘지 않아, 다음 오류에서 또 다른 세션을 여는 일이 반복될 수 있다. 쿠날은 자동화가 쉬운 작업을 가져가면 사람이 어려운 상황에 대처할 연습 기회까지 잃는다는 자동화 연구의 경고를 떠올린다. 결과에 책임지는 주체는 에이전트가 아니라 자신이라는 점이 이 우려의 출발점이다.

속도와 이해 사이의 바이브 한계

쿠날은 코드를 만드는 시간과 코드를 이해하는 시간을 구분해야 한다고 말한다. 에이전트가 전자를 크게 줄여도, 시스템을 깊이 이해하고 자신 있게 판단하려면 여전히 사람이 시간을 들여야 한다. 빠른 제작과 예전 수준의 작동 감각을 별다른 노력 없이 동시에 얻기는 어렵다는 것이다. 그는 이 선택을 감춘 채 에이전트 작업 흐름의 속도만 이야기하는 분위기를 경계한다.

이를 가르는 기준으로 제시한 것이 ‘바이브 한계(vibe limit)’다. 에이전트를 사용하면서도 자신이 충분한 확신을 갖고 처리할 수 있는 변경의 복잡도라는 뜻이다. 결과가 적당히 좋아도 되거나 문제가 잘 격리된 프로젝트라면 더 많이 위임할 수 있다. 반대로 중요하고 취약하거나, 변경 결과를 쉽게 점검할 수 없는 시스템이라면 직접 시간을 써야 한다.

이 한계는 한 번 정하면 끝나는 규칙도 아니다. 쿠날은 자신이 예상한 결과와 실제 결과를 계속 비교하고, 새 모델을 쓸 때마다 판단을 조정하자고 제안한다. 핵심은 모든 곳에서 에이전트를 똑같이 신뢰하는 대신, 어느 위험을 감수할지 명시적으로 고르는 데 있다.

‘계속’ 버튼을 누르는 순간

쿠날이 살피는 자동화 편향(자동화된 판단을 과도하게 믿는 경향)의 징후는 대화창에서 ‘예, 계속’을 반복해 누르는 행동이다. 이때는 두 가지 중 하나를 택해야 한다고 말한다. 문제를 통째로 맡길 수 있도록 작업을 격리하고 검증 절차를 더 잘 만들거나, 자신이 생각을 멈췄다는 사실을 깨닫고 진행 중인 결정을 다시 확인하는 것이다. 어정쩡한 감독보다 분명한 위임이나 적극적인 개입이 낫다는 판단이다.

중요한 프로젝트에서는 에이전트가 방향을 이끌도록 두지 않고 자신이 직접 변경을 주도한다. 글을 다듬을 때도 코덱스(Codex)에게 어색한 문장과 오탈자를 찾게 하지만, 실제 수정은 손으로 한다고 밝혔다. 작업 지침 파일에는 승인 없이 파일을 직접 편집하지 말라고 적어 두었다. 과거 스택 오버플로(Stack Overflow)의 코드를 복사해 붙이는 대신 문서를 대조하며 직접 작성했던 방식과 닮았다.

변경 이유까지 보이는 검토 화면

직접 개입하려면 에이전트의 작업이 읽을 만한 크기여야 한다. 쿠날은 복잡한 변경을 작은 단계로 나누고, 먼저 변경하기 쉬운 구조를 만든 뒤 실제 변경을 하도록 지시한다. 사람이 만든 PR을 검토하기 쉽게 정리하듯, 에이전트에게도 결과를 검토 가능한 형태로 내놓으라고 요구하는 셈이다.

그가 사용하는 맞춤형 PR 화면은 네 칸으로 구성된다. 두 칸에는 기존 코드와 변경 코드를 놓고, 셋째 칸에는 에이전트가 왜 바꿨는지 설명을 붙이며, 넷째 칸에는 자신이 의견과 지시를 남긴다. 설명만 읽고 끝내지 않고 디버거로 실제 실행 흐름을 따라가기도 한다. 명령줄 도구를 사용할 때는 낯선 옵션과 명령의 뜻을 설명하게 해, 작업 중에도 이해를 쌓는다.

통째로 맡길 때 필요한 안전장치

문제가 너무 크거나 시간이 부족할 때, 또는 첫 시제품으로 전체 흐름을 살펴보려 할 때는 통째로 맡기는 편이 합리적일 수 있다. 쿠날은 이 경우 에이전트가 목표에 맞게 작업했는지 확인할 수단부터 갖추자고 한다. 내부와 외부에서 시스템을 관측할 지표를 마련하고, 에이전트의 해석에만 기대지 말고 여러 지표를 직접 대조하라는 것이다. 자원 사용량 같은 성능 외 요구사항도 예상 밖의 행동을 알리는 신호가 된다.

모델의 판단과 별개로 결과를 확인하는 결정적 검증(같은 입력에 같은 결과가 나오는 검사 도구)도 권한다. 배포 후보를 실제 운영 환경과 비슷한 요청으로 시험하되 부작용은 내지 않는 섀도 트래픽(shadow traffic)은 출시 전 마지막 점검 수단이 될 수 있다. 기존 코드와 글을 바탕으로 만든 스타일 지침은 에이전트의 결과물을 자신의 작업 방식에 맞추는 데 쓰인다.

품질을 확신하기 어렵다면 변경을 빠르게 배포하고 되돌릴 수 있어야 한다는 것이 그의 생각이다. 그는 새로 만드는 비용이 낮아진 만큼, 초기 버전을 버리고 한계를 반영해 다시 만드는 과정에서도 품질을 높일 수 있다고 말한다. 다만 여러 번의 시도를 모두 동료에게 검토받게 하면 부담이 커지므로 팀과 방식을 맞춰야 한다고 덧붙인다.

다시 만들기 쉬운 설계

쿠날은 좋은 설계를 에이전트 시대의 속도 증폭 장치로 본다. 크리스토퍼 알렉산더(Christopher Alexander)의 논의를 빌려, 복잡한 시스템은 서로 비교적 독립적인 부분으로 나뉘어야 각 부분을 빠르게 고칠 수 있다고 설명한다. 일하는 주체가 사람인지 에이전트인지는 그 원칙을 바꾸지 않는다.

구조가 명료하면 변경을 이해하고 검증하고 확장하기가 쉬워진다. 설계의 한계를 발견했을 때 다시 만드는 속도도 에이전트 덕분에 빨라질 수 있다. 결국 위임의 범위를 넓히는 방법은 코드를 무작정 더 생성하는 것이 아니라, 생성된 변경을 사람이 파악하고 확인할 수 있는 구조를 지키는 데 있다.

커뮤니티 의견

한 사용자는 코드를 원래 읽지 못했던 비전문가에게 이 문제를 그대로 적용하기 어렵다고 했다. 이들은 AI로 자신이 쓸 도구를 만들고, 눈에 보이는 결과를 시험하며 고친다는 것이다. 다만 보안, 백업, 성능, 장기 유지보수처럼 겉으로 드러나지 않는 문제는 놓치기 쉽다고 짚었다.

다른 사용자는 코드 생성 비용이 낮아지면서 과도한 설계가 더 큰 문제가 됐다고 했다. 예전에는 짧게 끝낼 기능이 여러 클래스와 방대한 테스트로 늘어날 수 있다는 것이다. 생성된 코드에 결함이 없어도 아직 필요하지 않은 코드를 미리 만드는 것은 잘못된 선택이라고 주장했다.

또 다른 사용자는 결과물을 읽는 것과 직접 만들어 보는 것 사이에 학습의 차이가 있다고 우려했다. 강의를 듣고 이해했다고 느껴도 실제 문제를 풀어 보면 그렇지 않은 경우와 비슷하다는 설명이다. 이에 대한 답글에서는 도구가 낡은 작업을 대신하면 사람의 사고가 새로운 문제로 옮겨갈 수도 있다는 반론이 나왔다.

한 사용자는 작업마다 검토 강도를 달리한다고 했다. 백엔드 코드는 한 줄씩 살피고 재작업을 요청하지만, 프런트엔드는 주요 문제를 확인하는 수준으로 보고 CSS는 거의 읽지 않는다는 것이다. 직원의 작업을 검토할 때도 담당자와 중요도에 따라 깊이를 달리하는 것과 비슷하다고 설명했다.

네 칸짜리 PR 화면을 높이 평가한 사용자도 있었다. 그러나 설명을 잘 정리해 받아보는 일은 여전히 AI가 만든 결과물을 소비하는 방식이라고 지적했다. 시스템을 직접 만들며 익혔던 경험이 줄어드는 문제를, 검토 화면만으로 해결할 수 있느냐는 질문이다.

자동화된 작업에서 사람은 예외 상황을 발견해 멈추게 하는 역할이라는 의견도 나왔다. 답글에서는 사람이 평소 거의 항상 승인 버튼을 누른다면, 정작 드문 오류가 나타나도 습관적으로 승인할 수 있다고 반박했다. 감시자를 남겨 두는 것만으로 실질적인 감독이 이루어지지는 않는다는 우려다.

한 사용자는 사람이 설계한 API를 경계로 삼아 에이전트 생성 코드를 분리하자고 제안했다. 에이전트가 만든 부분이 복잡해져도 핵심 기능에 영향을 주지 못하도록 하자는 구상이다. 답글에서는 API 호출 범위를 제한하는 데 그치지 않고, 생성 코드가 담당하는 기능 자체도 다른 부분과 격리돼야 한다고 보탰다.

대량의 생성 코드를 매일 승인하는 관행을 강하게 비판하는 의견도 있었다. 한 사용자는 코드베이스를 이해하기 어려워지면 이후 개발에도 AI가 필요해지는 의존이 생긴다고 했다. 답글에서는 개별 변경이 모두 그럴듯해도 병합을 거듭할 때마다 이해하기 쉬운 정도가 조금씩 떨어질 수 있다고 지적했다.

핵심통찰

AI 에이전트가 바꾸는 것은 코드 작성 속도뿐 아니라, 개발자가 무엇을 알아야 변경을 승인할 수 있는지에 대한 기준이다. 코드를 직접 쓰지 않아도 되는 영역은 늘겠지만, 중요한 시스템의 설계 이유와 실제 작동을 모른 채 책임만 지는 방식은 오래 버티기 어렵다. 앞으로 주목할 것은 생성량보다 검토 가능한 변경의 크기, 독립적인 검증 절차, 에이전트 코드가 다른 부분에 미칠 영향을 막는 경계다. 이 장치들이 갖춰질수록 위임은 무심한 승인이 아니라 관리 가능한 선택이 된다.


원본: Resisting Cognitive Surrender

토론: Hacker News