AI 에이전트, 속으로 계산하고 글로 행동한다

스탠퍼드대와 투게더 AI(Together AI) 등이 참여한 연구진은 AI 에이전트가 내부에서는 잠재 공간의 벡터로 추론하고, 도구를 쓸 때는 텍스트로 전환하는 ‘하이브리드 에이전트(HybridAgent)’를 제안했다. 기존 에이전트는 중간 생각까지 글자로 생성해 시간과 비용을 쓰지만, 잠재 추론만으로는 검색이나 코드 실행 결과를 주고받기 어렵다. 연구진은 두 방식을 한 생성 과정에 묶어 성능과 효율을 높였다고 보고했다. 다만 내부 생각을 얼마나 살펴볼 수 있는지, 공개된 모델이 실제 실행 환경에서도 안정적으로 작동하는지는 별개의 질문이다.

핵심요약

  • 하이브리드 에이전트는 내부 추론을 잠재 공간에서 처리하고 도구 호출과 관찰이 필요한 순간 텍스트로 전환해, 속도와 외부 상호작용을 함께 노린다.
  • 하이브리드링크(HybridLink)와 KV 작업 기억은 잠재 상태와 텍스트 사이를 잇고 도구를 사용한 뒤에도 앞선 맥락을 이어가게 한다.
  • 연구진은 지도 미세조정과 강화학습을 결합해 모델이 두 모드를 안정적으로 오가고 전환 시점을 학습하도록 했다.
  • 3개 모델 규모와 11개 벤치마크 평가에서 연구진은 비교 모델 대비 평균 성능 향상과 토큰 사용량·추론 시간·추정 비용 감소를 보고했다.
  • 공개 모델을 실행한 일부 커뮤니티 사용자는 응답이 반복되는 문제를 겪었으며, 다른 사용자들은 전용 추론 코드와 실행 환경의 호환성을 먼저 확인해야 한다고 지적했다.

글자로 생각하는 에이전트의 병목

검색하거나 파이썬 코드를 실행하는 LLM 에이전트는 도구에 요청을 보내고 결과를 읽은 뒤 다음 행동을 정한다. 그 사이의 추론도 보통 토큰(모델이 차례로 생성하는 글자 단위)으로 풀어 쓴다. 연구진은 도구와 소통할 때 필요한 텍스트를 내부 사고까지 생성하는 데 쓰는 것이 낭비라고 봤다. 반대로 잠재 추론(문장으로 출력하지 않고 연속적인 내부 표현에서 계산하는 방식)은 중간 단계를 매번 글로 만들지 않아도 되지만, 도구 호출과 여러 차례의 대화를 자연스럽게 처리하기 어려웠다.

하이브리드 에이전트는 이 둘을 하나의 생성 흐름에 놓는다. 모델이 내부 문제를 다룰 때는 잠재 모드로 진행하고, 검색 요청이나 코드 실행, 관찰 가능한 판단과 최종 답변에는 텍스트 모드를 쓴다. 핵심은 생각을 한꺼번에 압축한 뒤 결과만 내놓는 것이 아니라, 진행 중에 두 모드를 여러 번 오갈 수 있다는 점이다. 따라서 연구진이 풀려는 문제는 ‘글자를 얼마나 덜 쓰느냐’뿐 아니라, 글자를 줄이면서도 에이전트의 행동을 유지할 수 있느냐다.

숨은 상태를 되돌리는 하이브리드링크

두 모드의 전환에는 표현 방식의 차이가 걸림돌이다. 일반적인 잠재 추론처럼 모델의 마지막 층에서 나온 숨은 상태를 곧바로 다음 입력에 넣으면, 사전 학습된 모델이 받아들이던 토큰 임베딩(토큰을 숫자 벡터로 바꾼 입력 표현)과 분포가 맞지 않는다. 연구진은 이를 잇는 가벼운 어댑터인 하이브리드링크를 추가했다. 숨은 상태의 정보를 되도록 보존하면서 다음 입력 공간에 맞추는 구조이며, 40억 매개변수 모델을 기준으로 약 1,000만 개의 매개변수를 쓴다고 설명한다.

텍스트 모드에서 모델이 <latent>라는 특수 토큰을 내면 잠재 모드가 시작된다. 이후에는 매 단계의 숨은 상태를 하이브리드링크에 통과시켜 다음 단계로 돌려보내므로, 중간 생각을 매번 토큰으로 해독하고 다시 입력할 필요가 없다. 잠재 상태가 종료 표시인 </latent>에 해당하는 임베딩과 가장 가까워지면 모델은 텍스트 모드로 돌아온다. 전환 횟수와 각 구간의 길이는 고정된 문장 수로 정하지 않고 생성 과정에서 달라진다.

연구진은 잠재 상태를 가까운 토큰 임베딩에 대응시켜 사람이 읽을 수 있는 ‘유사 텍스트’로 살펴볼 수도 있다고 주장한다. 다만 이 읽기 방식은 잠재 상태를 실제로 생성된 문장으로 바꾸는 것과 다르다. 평소 추론 때는 토큰 해독 없이 계산하고, 필요할 때 내부 벡터가 어떤 말과 가까운지 조사하는 방식이다. 이 구분은 뒤에서 나오는 ‘감사 가능성’ 평가를 읽을 때 중요하다.

도구를 쓴 뒤에도 남는 작업 기억

도구를 쓰는 에이전트에는 한 번의 응답보다 여러 차례의 연속성이 중요하다. 일반적인 텍스트 에이전트는 앞서 쓴 문장과 도구의 응답을 다음 차례의 입력으로 다시 구성한다. 하지만 텍스트와 잠재 벡터가 섞인 기록은 글자만 다시 토큰화해서는 그대로 복원할 수 없다. 하이브리드 에이전트는 이를 위해 KV 캐시(앞선 입력을 처리하며 저장한 키·값 정보)를 작업 기억으로 이어 쓴다.

모델이 생성한 텍스트, 잠재 상태, 도구에서 돌아온 관찰 결과가 처리될 때마다 해당 정보가 작업 기억에 순서대로 쌓인다. 검색 결과를 받은 뒤 다음 차례를 시작할 때도 앞선 잠재 생각을 텍스트로 바꾸지 않고 이 기억에서 생성을 재개한다. 연구진은 동일한 모델과 추론 설정에서 이 방식이 전체 혼합 맥락을 다시 처리한 경우와 같은 결과를 낸다는 근거도 제시했다. 그만큼 작업 기억은 단순한 속도 개선 장치가 아니라, 여러 차례에 걸친 잠재 추론을 가능하게 하는 구성 요소다.

두 단계 학습으로 전환 시점을 익히다

구조를 붙이는 것만으로 모델이 두 모드를 안정적으로 쓰지는 못한다. 연구진은 큐원3(Qwen3)의 40억·80억·140억 매개변수 기본 모델을 출발점으로 삼아, 기존 텍스트 기반 에이전트 학습 기록 5만4,000개를 혼합 경로로 바꿨다. 도구 상호작용과 외부 점검에 중요한 단계는 텍스트로 남기고, 일부 내부 추론 단계는 잠재 모드에 배정했다. 따라서 모델 전체를 처음부터 사전 학습하기보다, 기존 모델을 두 모드에 맞게 추가 학습시키는 접근이다.

첫 단계인 하이브리드SFT(HybridSFT)는 지도 미세조정(정답이 있는 사례로 모델을 조정하는 학습)이다. 먼저 모드의 시작과 끝을 알리는 형식을 가르치고 하이브리드링크를 정렬한 다음, 모델이 스스로 만든 잠재 입력을 다시 받아 처리하도록 훈련한다. 학습 때는 정답 임베딩을 보다가 실제 사용 때는 자기 출력만 보는 차이가 잠재 구간에서 누적될 수 있어서다. 연구진은 이 자기 출력 조건부 학습이 잠재 상태의 일관성과 읽기 쉬움을 높였다고 보고했다.

다음 단계인 하이브리드RL(HybridRL)은 강화학습(결과에 대한 보상을 바탕으로 행동을 조정하는 학습)이다. 잠재 단계에는 일반 토큰처럼 선택 확률이 없으므로, 연구진은 실제로 선택한 텍스트 위치를 중심으로 학습하고 당시의 잠재 상태와 도구 관찰을 기록해 다시 재생한다. 보상에는 답의 정확성, 출력 형식, 여러 도구의 사용이 반영되지만 잠재 모드를 더 쓰라는 직접 보상은 없다. 언제 안에서 생각하고 언제 글로 행동할지는 결과를 높이는 과정에서 익히도록 설계했다.

11개 평가에서 얻은 속도와 비용

평가는 수학·과학·의학·검색·도구 사용을 포함한 11개 벤치마크에서 이뤄졌다. 연구진은 같은 모델 규모와 학습 예산으로 맞춘 비교에서 하이브리드RL 단계의 성능이 대응하는 텍스트·잠재 방식보다 평균 10.4% 높았다고 보고했다. 140억 매개변수 모델은 까다로운 에이전트 평가에서 가장 강한 에이전트 비교 기준보다 평균 17.4% 나은 결과를 냈다고 설명한다. 샘플링을 늘려 답을 찾을 기회를 높이는 평가에서도 성능이 상승했다.

효율 수치도 함께 제시했다. 연구진이 보고한 토큰 사용량 감소 폭은 35.554.7%였고, 추론 속도는 1.82.6배, 계산 비용 절감 폭은 2.7~3.7배였다. 대응하는 텍스트 에이전트와 비교한 세부 분석에서는 텍스트 토큰을 2.7배 적게 쓰고 전체 생성 단계가 최대 54% 줄었다. 여기서 잠재 단계 역시 모델 계산을 거친다는 점이 중요하다. 비용 비교는 이를 포함한 생성 계산의 추정치이며, 입력을 처음 처리하는 비용과 외부 도구 실행 비용은 제외했다.

잠재 생각을 바꾸면 답도 달라졌다

잠재 모드가 단지 출력 형식만 바꾼 것인지 알아보기 위해 연구진은 내부 벡터에 손을 댔다. 80억·140억 매개변수 모델의 수학 평가에서 잠재 벡터를 다른 문제의 것으로 교체하거나 순서를 뒤섞고, 잠재 구간을 한 단계로 제한했다. 그 결과 모두 정상 작동 때보다 성능이 낮아졌다. 특히 다른 문제의 잠재 상태로 바꿨을 때는 더 큰 크기의 무작위 잡음을 넣은 경우보다 성능이 많이 떨어져, 벡터가 담은 내용이 결과에 관여한다는 해석을 뒷받침했다.

하이브리드링크의 설계도 비교했다. 숨은 상태를 아무 조정 없이 다시 넣는 방식보다, 원래 상태를 일부 보존하는 잔차 연결을 포함한 두 층 구조가 수학·의학·여러 문서에 걸친 질의응답 평가에서 더 좋은 결과를 냈다. 강화학습이 진행될수록 140억 매개변수 모델은 잠재 모드에 더 많은 생성을 배정하면서 도구 호출도 늘렸다. 연구진의 분석대로라면 두 모드는 같은 일을 중복하는 통로가 아니라 내부 계산과 외부 행동을 나눠 맡는 통로다.

적게 보여줘도 점검할 수 있는가

텍스트를 줄이면 오류를 찾아내기도 어려워질 수 있다. 연구진은 먼저 도구 사용을 비교해, 하이브리드 에이전트의 유효한 도구 호출 비율이 텍스트 방식보다 높고 유효한 호출의 실행 성공률은 99.7%로 같다고 보고했다. 도구를 사용한 질문에서 최종 답의 정확도도 더 높았다. 이는 잠재 추론을 추가해도 검색과 파이썬 실행에 쓰는 텍스트 통로가 유지되는지를 확인한 결과다.

별도로 수학 문제 560개에서는 외부 관찰자에게 텍스트 단계와 도구 기록만 보여주고 정답 여부 예측, 첫 오류 찾기, 수정 단서 작성 등을 평가했다. 하이브리드 에이전트는 비교 모델보다 텍스트를 4349% 적게 노출하면서도, 공개된 텍스트 100토큰당 핵심 추론 단계는 2628% 더 많았다. 연구진은 이를 바탕으로 중요한 판단만 글로 남겨도 점검과 수정에 필요한 정보를 유지할 수 있다고 본다. 동시에 잠재 구간 전체가 사용자에게 보이는 것은 아니므로, 유사 텍스트를 통한 내부 점검과 사용자가 볼 수 있는 기록의 범위는 구별해야 한다.

연구진은 앞으로 잠재 작업 기억을 에이전트 실행 구조의 핵심 요소로 다루고, 도구 호출이나 사람의 확인이 필요한 지점만 텍스트로 배치하는 방안을 제시했다. 이 구상에서는 잠재 기록을 가진 제공자가 내부 추론을 더 폭넓게 살피되, 이용자에게는 핵심 결정과 행동을 보여주는 역할 분담이 생긴다. 논문의 성능 수치만큼이나 중요한 질문은 이 분담이 실제 실행 환경에서도 안정적으로 작동하고, 외부에서 확인해야 할 정보를 충분히 남기느냐다.

커뮤니티 의견

한 사용자는 생각을 반드시 단어 단위로 해야 한다는 이유가 없다며 이번 접근을 자연스러운 방향으로 봤다. 언어로 표현되는 생각의 단위가 앞으로도 모델에 가장 적합하리라는 보장은 없다는 주장이다. 이 관점에서는 잠재 모드가 단순한 토큰 절약보다 추론 표현 자체의 선택지를 넓힌다.

다른 사용자는 모델이 글자로 생각을 보여주기 전 내부 계산을 더 하는 방식이 이미 쓰이는 것 아니냐고 물었다. 이어지는 토론에서는 계산이 출력보다 앞서 일어날수록 그 과정을 관찰하기 어려워지고, 원치 않는 행동을 감시하기도 까다로워질 수 있다는 우려가 나왔다. 이번 논문의 읽을 수 있는 잠재 상태 주장이 안전성과 통제 문제에 답하는지도 관심사였다.

코드와 모델 공개 위치를 알리는 댓글에는 기존의 연속적 사고 사슬 연구와 무엇이 다른지 묻는 답글이 달렸다. 답글 작성자는 기존 잠재 방식에는 도구 사용 경로와 해석 가능성이 부족하다는 논문의 설명이 충분히 설득력 있지 않다고 봤다. 새 구조의 성능뿐 아니라 선행 방식과의 차이를 얼마나 분명히 보여줬는지가 쟁점이라는 지적이다.

공개된 80억 매개변수 모델을 직접 시험했다는 한 사용자는 간단한 질문에도 비슷한 생각을 끝없이 반복하고 답을 마치지 못했다고 전했다. 답글에서는 모델 자체보다 추론 엔진이 종료 신호를 제대로 처리하지 못한 문제일 수 있다는 의견이 나왔다. 작은 모델의 문제 해결 능력과 실행 설정을 구분해 봐야 한다는 지적도 이어졌다.

한 사용자는 텍스트를 생성할 때도 잠재 벡터를 함께 처리하도록 입력을 넓히면 어떻겠느냐고 제안했다. 잠재 모드에서도 모델 계산 비용을 치르는 만큼 두 경로를 동시에 활용하자는 발상이다. 반론은 그렇게 할 경우 사람이 볼 수 있는 추론 기록의 양이나 정확성이 줄어 감시가 더 어려워질 수 있다는 데 초점을 맞췄다.

‘추론’이라는 표현 자체에 반대하는 사용자도 있었다. 확률적 과정이 내놓은 결과가 추론처럼 보여도 그것을 실제 추론이라고 부르는 것은 오해를 부른다는 주장이다. 이에 대한 답글은 동물의 사고에 복잡한 확률적 과정이 관여하지 않는다고 가정할 수 있느냐고 되물었다.

또 다른 사용자는 잠재 공간에서 생각하게 하는 방향이 해석 가능성과 정렬 문제 때문에 오래전부터 꺼려졌다고 주장했다. 다른 답글은 잠재 상태를 쓰는 모델을 어떻게 개선하고 점검할지 물었다. 논문이 내부 상태의 읽기 방법을 제시한 이유와 맞닿아 있지만, 읽을 수 있는 표시가 충분한 감독 수단인지에는 이견이 남았다.

후순위 댓글에서는 140억 매개변수 모델을 라마.cpp(llama.cpp)로 실행한 사용자가 간단한 검색·요약 요청에서도 반복 출력이 계속됐다고 전했다. BF16 버전에서도 같은 현상을 봤지만, 답글은 연구진이 전용 추론 코드를 공개했으므로 일반 실행기에 모델만 넣어 같은 동작을 기대해서는 안 된다고 지적했다. 논문의 혼합 모드와 작업 기억을 지원하는 실행 환경이 성능 평가만큼 중요하다는 의견이다.

핵심통찰

이 연구가 바꾸려는 것은 에이전트의 ‘생각’과 ‘행동’에 같은 출력 형식을 강요하던 설계다. 잠재 상태에서 계산하고 텍스트로 도구를 쓰는 분업이 자리 잡으면, 답을 얻기까지 쓰는 글자와 시간을 줄이면서도 중요한 행동은 드러낼 수 있다. 다만 그 장점은 전용 실행 환경이 모드 전환과 작업 기억을 정확히 처리하고, 축약된 텍스트 기록이 오류 점검에 충분할 때에만 살아난다. 앞으로는 벤치마크 점수와 함께 공개 모델의 안정적인 재현, 잠재 상태의 읽기 결과와 실제 판단 사이의 일치도를 봐야 한다.


원본: Hybrid Reasoning Agents

토론: Hacker News