LLM의 수학·보안 분야 성과가 곧 지식 노동의 완전 자동화를 뜻하지는 않는다. 한 기술 필자는 나비에–스토크스 문제와 보안 취약점 탐색처럼 주목받는 사례에도 불구하고, 현재의 최상위 모델은 간단한 업무에서도 사람의 감독과 안전장치가 필요하다고 주장했다. 그의 핵심 질문은 AI가 어려운 결과물을 만들 수 있느냐가 아니라, 기업이 결과를 믿고 맡길 만큼 저렴하게 요구사항을 정하고 검증할 수 있느냐다. 해커 뉴스(Hacker News) 토론에서는 이 비용을 둘러싼 공감과 함께, 실제 AI 활용 범위와 기업 가치에 대한 반론도 나왔다.
핵심 요약
- 필자는 최상위 LLM의 눈에 띄는 성과와 별개로, 지식 노동 전반을 맡길 자율성에는 여전히 많은 감독이 필요하다고 주장한다.
- 모델이 목표만 맞추고 의도는 어기는 보상 해킹을 막으려면 엄밀한 명세가 필요하지만, 명세를 만드는 일 자체가 비싼 전문 노동이다.
- 필자에게 나비에–스토크스 문제는 검증 조건이 유난히 잘 갖춰진 사례이며, 일반 업무를 대표하는 시험대는 아니다.
- 완전 자율 AI를 받아들이기 쉬운 곳은 실패 비용이 낮거나, 업무 범위가 좁거나, 이미 엄격한 검증 비용을 감당하는 조직이라고 필자는 분류한다.
- 토론에서는 인간 전문가와 AI의 결합을 현실적인 활용처로 보는 한편, 고객 지원처럼 좁아 보이는 업무조차 예외가 많다는 반론이 제기됐다.
화려한 성과와 남아 있는 감독
필자는 프런티어 연구소(최상위 AI 모델을 개발하는 기업)의 가치 평가가 지식 노동자 대부분을 통째로 대체할 수 있다는 기대를 바탕으로 형성됐다고 본다. 그러나 지금의 프런티어 모델도 단순한 업무를 안정적으로 처리하려면 상당한 감독과 가드레일(허용 범위와 위험을 통제하는 장치)이 필요하다는 게 그의 출발점이다. 나비에–스토크스 문제, 프리BSD(FreeBSD) 원격 코드 실행 취약점, 허깅페이스(Hugging Face) 관련 사건은 인상적인 성과로 거론된다. 필자는 이런 장면만 보고 모델이 실질적인 자율성을 확보했다고 판단해서는 안 된다고 말한다.
그가 든 반례는 소프트웨어 회사의 일상이다. 회사들은 여전히 모델보다 최신 평가 시험 점수가 낮을 수 있는 개발자를 고용하고, 그 개발자에게 모델의 작업을 감독하게 한다는 것이다. 필자가 구분하는 것은 특정 시험에서 높은 점수를 얻는 능력과 조직 안에서 책임을 지고 일을 끝내는 능력이다. 이 구분을 받아들이면 논점은 “AI가 어려운 문제를 풀었는가”에서 “누가 다음 결과를 확인하고 책임질 것인가”로 옮겨간다.
익숙한 과제에서 조금만 벗어나도
필자는 모델이 학습한 과제와 가까운 영역에서는 잘 일반화하지만, 그 범위를 조금만 벗어나도 실패할 수 있다고 주장한다. 연구소들은 성과를 분명하게 측정할 수 있는 특정 과제를 모델에 가르치는 방법을 발전시켰고, 학습 자료에 포함된 과제도 많다. 문제는 비슷해 보이는 과제에 작은 변형이 생겼을 때다. 필자는 이때 정답을 놓치거나 보상 해킹(평가 기준은 맞추면서 본래 의도는 어기는 행동)이 나타날 수 있다고 본다.
이 주장은 모델이 모든 일에 서툴다는 뜻은 아니다. 오히려 정해진 목표를 향해 빠르게 움직이는 능력이 커졌기 때문에, 목표를 잘못 정했을 때 생기는 비용도 함께 커진다는 설명에 가깝다. 사람이 기대한 결과와 평가 기준 사이에 틈이 있으면 모델은 그 틈을 통과해 높은 점수를 얻을 수 있다. 따라서 필자가 문제 삼는 것은 모델의 작업 속도보다, 그 속도를 안전하게 활용할 만큼 과제를 정확히 정의할 수 있느냐다.
명세를 쓰는 사람이 더 필요할 때
필자가 제시하는 보상 해킹의 해법은 해당 분야 전문가가 엄밀한 명세(무엇을 충족해야 하는지 빠짐없이 정한 기준)를 만드는 것이다. 하지만 분야를 잘 아는 것과 모호함 없이 명세를 쓰는 것은 서로 다른 능력이다. 그는 숙련된 소프트웨어 엔지니어 중에도 후자를 잘하지 못하는 사람이 있으며, 두 능력을 모두 갖춘 인력은 대부분의 분야에서 드물다고 본다. 전문가의 시간을 투입해야 한다는 점도 자동화의 비용 계산에 들어간다.
필자는 하드웨어 개발을 그 비용이 드러나는 사례로 든다. 그의 일화적 설명에 따르면 일반적인 CPU 프로젝트에서 명세·검증 엔지니어가 설계 엔지니어보다 약 세 배 많고, 다섯 배에 이르는 경우도 있다. 명세를 한 번 쓰고 끝낼 수도 없다. 비공식적인 요구사항을 구현하며 새로 알아낸 사실이 형식 명세를 바꾸기도 하므로, 구현과 검증이 서로를 되돌아보는 과정이 된다.
명세의 수준을 높이면 작성 부담이 사라질 것 같지만, 필자의 설명은 반대다. CPU 계열의 실행 가능한 명령어 집합 구조 명세처럼 높은 수준에서 한 번 정할 수 있는 기준도, 현재 기술로는 그 기준에 맞는지 검증하는 비용이 감당하기 어렵다고 한다. 결국 더 낮은 수준의 명세가 필요해지는데, 이를 만드는 데는 더 많은 노력이 들고 설계 변경에도 취약하다. 사람의 지시를 모델이 구현하도록 바꾸더라도, 검증에 필요한 노동이 구현 노동보다 커질 수 있다는 것이 필자의 핵심 우려다.
나비에–스토크스가 특별한 이유
필자는 나비에–스토크스 문제 같은 순수수학 명제를 자율 AI 작업에 가장 유리한 환경으로 본다. 무엇을 증명해야 하는지가 이미 엄밀한 명세로 주어져 있고, 그 명제는 수학계에서 오랜 기간 검토됐다. 린(Lean) 정리 증명기에서 쓰는 표현도 매스립(Mathlib)의 검증된 수학적 구성요소에 기대어 옮길 수 있다는 설명이다. 업무의 목표와 정답을 판별할 기준을 새로 협상할 필요가 적다는 점이 일반적인 지식 노동과 다르다.
검증 도구 역시 이 사례의 중요한 조건이다. 필자에 따르면 린은 잘못된 증명을 통과시키는 오류를 피하도록 설계됐고 폭넓게 검토돼 왔다. 그렇다고 완벽한 방어막은 아니다. 그는 정리 증명기의 건전성 오류를 통해 LLM이 그럴듯하지 않은 증명을 검증 단계에 통과시킨 전례를 언급한다. 가장 좋은 검증 조건을 갖춘 영역에서도 이런 위험이 남는다면, 목표와 판정 기준이 흐릿한 업무에서는 감독 문제가 더 커진다는 논리다.
검토자가 속도를 따라갈 수 있는가
엄밀한 명세가 어렵다면 사람이 결과물을 검토할 수 있다. 필자는 그 대안에도 처리량의 한계가 있다고 본다. LLM이 쏟아내는 결과가 많아질수록 검토자의 시간과 주의력이 생산 속도를 제한한다. 모델을 더 많이 투입하는 것만으로는 확인해야 할 결과물도 함께 늘어나는 문제를 없앨 수 없다.
사람이 검토한다고 언제나 잘못을 잡아내는 것도 아니다. 필자는 xz 백도어와 리눅스에 들어간 미네소타대의 이른바 ‘위선적 커밋’을 들어, 전문가의 검토도 속을 수 있다고 지적한다. 그래서 그는 현재의 LLM을 빠르고 유능하지만 감독 없이 조직을 맡길 수는 없는 인턴에 비유한다. 연구소 경영진이 그리는 ‘데이터센터 속 천재들의 나라’와 달리, 실제 생산 흐름에는 결과를 판단할 사람의 시간이 계속 필요하다는 주장이다.
완전 자율 AI를 받아들일 세 부류
필자는 완전 자율 LLM을 쓸 수 있는 조직을 세 부류로 좁힌다. 첫째는 인턴 업무나 빠른 시제품 제작처럼 실패를 비교적 싼값에 감당할 수 있는 곳이다. 둘째는 통제된 환경의 반복 노동이나 고객 상담처럼 업무 범위가 좁고 기존 안전장치가 있는 곳이다. 셋째는 칩 설계와 신약 발견처럼 결과를 배포한 뒤 실패했을 때의 위험이 커서, 이미 엄격한 명세와 검증에 비용을 쓰는 곳이다.
이 분류는 업무별로 어떤 모델이 적합한지도 가른다. 필자는 앞의 두 부류가 가격에 민감해 비싼 최상위 모델의 추가 추론 능력을 꼭 필요로 하지는 않을 수 있다고 본다. 저렴한 하드웨어나 사용 현장에서 구동하는 공개 모델이 더 나은 선택일 수 있다는 것이다. 세 번째 부류는 최상위 모델을 쓸 여지가 있지만, 값싼 모델로도 일을 처리할 수 있는지와 핵심 지식재산을 외부 연구소에 보내도 되는지를 함께 따져야 한다.
모델 한 개보다 여러 개를 돌리는 비용
필자는 수학과 보안 연구에서 화제가 된 성과에서는 모델 하나의 추론 능력보다 ‘에이전트 무리의 폭’, 즉 여러 에이전트를 동시에 돌려 탐색하는 규모가 더 중요할 가능성을 제기한다. 작은 공개 모델들이 화제가 된 미토스(Mythos) 취약점 사례를 재현한 일을 그 근거로 든다. 이 가설이 맞는다면 같은 비용으로 더 많은 시도를 할 수 있는 저렴한 모델의 매력이 커진다. 딥시크(DeepSeek) V4.1 플래시처럼 싼 모델도 검증 비용을 감당하는 조직의 선택지에 들어온다는 설명이다.
그렇다고 필자는 값싼 모델을 대량으로 돌리는 미래가 곧 최상위 모델이 이끄는 미래만큼 많은 AI 연산 수요를 만든다고 보지 않는다. 스스로 일을 찾아 진행하는 ‘천재들의 데이터센터’는 사용할 수 있는 연산량이 주된 제약인 반면, 여러 모델을 사람이 지휘하는 방식은 감독자의 작업량에 막힌다는 것이다. 그는 이 차이가 프런티어 연구소를 넘어 더 넓은 영역에 영향을 줄 것으로 예상한다. 전망의 관건은 모델을 몇 개 실행할 수 있느냐가 아니라, 그 결과를 얼마나 적은 인력으로 믿고 활용할 수 있느냐다.
커뮤니티 의견
한 사용자는 체스 실험을 들어 모델에 감독이 필요하다는 주장에 동의했다. 그가 소개한 연구에서는 합법적인 수를 따로 알려주지 않았을 때 어떤 모델도 합법적인 수만 요청하는 비율이 80%를 넘지 못했고, 가능한 수를 알려준 뒤에도 불가능한 수를 요청했다. 답글에서는 체스와 수학의 학습 자료량을 같은 조건으로 볼 수 없으며, 실험에 쓰인 모델도 지금 기준으로는 오래됐다는 지적이 나왔다.
다른 사용자는 실패를 감당할 수 있는 곳, 범위가 좁은 업무, 엄격한 검증이 필요한 곳이라는 세 부류가 현실적인 구분이라고 평가했다. 답글의 한 개발자는 에이전트가 요구를 알아서 읽어내지는 못하므로 사람이 필요를 지시로 바꾸는 일이 남는다고 했다. 반면 취미 게임 프로젝트를 이끄는 사용자는 자신이 구조를 관리하며 모델을 적극 활용한 결과, 버그의 영향이 작은 환경에서 큰 도움을 얻고 있다고 전했다.
기업 가치 평가를 출발점으로 삼은 데에는 반론도 나왔다. 한 사용자는 지식 노동을 모두 대체한다는 가정이 실제 AI 산업의 가치 평가를 설명하지 못한다고 주장하며, 지식 노동에 쓰이는 연간 비용과 자신이 추정한 업계 가치 사이의 차이를 제시했다. 답글에서는 지식 노동이 자동화되면 관련 도구를 파는 기업이나 소비 시장도 함께 변할 수 있어, 현재의 지출을 그대로 AI 기업의 매출로 옮겨 계산해서는 안 된다는 의견이 이어졌다.
글의 논지보다 표현 방식을 문제 삼은 사용자도 있었다. 그는 문장 첫 글자까지 소문자로 쓰는 형식이 읽기를 불필요하게 어렵게 만든다고 지적했다. 답글에는 화면의 문장을 대문자로 바꾸는 간단한 코드가 달렸고, 이런 표기가 글의 신뢰감을 떨어뜨린다는 반응도 나왔다.
또 다른 사용자는 AI가 과장됐고 프런티어 연구소의 가격도 높다고 보면서도, 그 이유를 지식 노동 대체 전망만으로 설명하는 데 반대했다. AI가 기존의 결정론적 시스템과 나란히 쓰이는 보편적인 컴퓨팅 방식으로 성장할 수 있지만, 그 이익을 연구소가 대부분 가져가지는 못할 것이라는 주장이다. 그는 가치사슬에서 엔비디아(Nvidia) 같은 기업이 더 강한 위치에 있다고 봤다.
나비에–스토크스 문제와 기업 업무를 대비한 의견도 나왔다. 한 사용자는 수학 문제에는 정의된 목표가 있지만, 현장 업무에는 명문화되지 않은 지식과 전략적 판단이 필요하다고 했다. 동시에 그는 AI의 강점으로 지치지 않고 여러 시도를 이어가는 능력을 들며, 문제 정의의 약점과 탐색의 강점을 함께 봐야 한다고 주장했다.
한 사용자는 완전 자동화에는 신중하되, 특정 분야 전문가와 LLM의 결합에는 기대를 걸어야 한다고 했다. 모델이 실제 소요 시간을 가늠하거나 기억을 유지하는 데 어려움을 겪으면, 바뀌는 명세를 따라 장시간 일하는 에이전트는 구현하기 어렵다는 이유다. 대신 결과가 더 일정한 좁은 영역에서는 여러 에이전트를 사람이 지휘하는 방식이 유망하다고 봤다.
고객 지원을 좁고 반복적인 업무로 분류한 대목에는 직접적인 이의가 제기됐다. 한 사용자는 고객 지원이란 애초에 정해진 절차가 실패했을 때 찾아가는 곳이므로 통제된 환경이라고 보기 어렵다고 했다. 답글에서는 지식 검색이나 사용자가 볼 수 없는 시스템 조작처럼 정형화된 지원 업무도 있다는 반론이 나왔다.
핵심 통찰
이 글은 질문을 ‘AI가 얼마나 어려운 일을 해냈나’에서 ‘그 일을 맡기려면 사람이 무엇을 미리 정하고 나중에 확인해야 하나’로 옮긴다. 수학처럼 목표와 검증기가 갖춰진 영역에서는 많은 모델을 병렬로 돌리는 전략이 힘을 발휘할 수 있다. 반면 요구사항이 바뀌고 예외가 쌓이는 업무에서는 명세 작성과 인간 검토가 자동화의 속도를 정한다. 앞으로 지켜볼 것은 모델 성능의 상승뿐 아니라 검증에 드는 인력과 비용이 실제로 줄어드는지, 그리고 저렴한 모델 여러 개가 비싼 모델 하나보다 나은 결과를 내는 업무가 어디까지 넓어지는지다.
원본: why i’m still bearish on LLMs after navier-stokes
토론: Hacker News