GPT-6 아스트라, 반복 계산은 추론을 숨기나

오픈AI(OpenAI)의 GPT-6 아스트라(GPT-6 Astra)는 컴퓨터 화면을 직접 다루는 능력에서 두드러진 진전을 보였다. AI 연구자 세바스티안 라슈카(Sebastian Raschka)는 아스트라의 성능을 살펴본 뒤, 모델이 같은 계산 블록을 반복 사용하는 ‘루프형 트랜스포머’ 구조를 채택했다는 보도와 그 구조가 추론 과정을 숨긴다는 주장까지 검토했다. 결론은 신중하다. 반복 계산은 성능을 높일 수 있지만, 그것만으로 추론을 감춘다고 볼 근거는 부족하다는 것이다. 이 논쟁은 AI가 일을 더 잘하는 만큼 그 과정을 얼마나 들여다볼 수 있는지 묻게 한다.

핵심 요약

  • 라슈카는 아스트라가 글쓰기·수학·코딩 전반에서 이전 모델을 앞서며, 특히 그래픽 작업과 컴퓨터 조작에서 큰 차이를 보인다고 평가했다.
  • 루프형 트랜스포머는 같은 가중치를 여러 번 써서 계산 깊이를 늘리지만, 반복 횟수에 따른 연산량과 KV 캐시 부담까지 없애지는 못한다.
  • 아스트라가 이 구조를 쓴다는 보도는 공식 확인되지 않았으며, 라슈카는 성능 향상의 주된 이유가 학습 방식과 데이터 개선일 가능성을 더 크게 봤다.
  • 아스트라의 추론 기록은 일부 평가에서 짧고 정보량이 적었지만, 이것이 반복 구조 때문인지는 밝혀지지 않았다.
  • Hacker News에서는 짧은 추론 기록의 안전성뿐 아니라 화면 조작의 신뢰성과 실제 연산 비용을 두고도 의견이 갈렸다.

전반적 향상보다 눈에 띈 그래픽 작업

라슈카는 직접 써본 아스트라를 당시까지 경험한 모델 가운데 가장 뛰어난 모델로 평가했다. 글쓰기, 수학, 코딩 등에서 GPT-5.6 솔(GPT-5.6 Sol)을 앞서지만, 다른 모델과 비교해 유독 차이가 크게 느껴진 분야는 3D 렌더링과 애니메이션이었다. 퍼즐 풀이와 일반화 능력을 함께 보는 ARC-AGI-3에서는 아스트라가 99.9%, 솔이 7.8%를 기록했다고 소개했다. 다만 그는 실제 사용과 더 가까운 수학·코딩·컴퓨터 조작 평가를 더 중요하게 봤다.

독립 평가인 아티피셜 애널리시스(Artificial Analysis)의 코딩 에이전트 지수에서 아스트라는 최상위권이지만, 경쟁 모델을 압도할 만큼 멀리 앞서지는 않았다. 평가에 쓰는 하네스(모델에 작업 도구와 실행 환경을 연결하는 장치)가 결과에 영향을 줄 여지도 있다. 여러 모델에 같은 하네스를 쓰면 비교가 공정해지지만, 개발 과정에서 특정 하네스에 맞춰 다듬은 모델의 장점은 다른 환경에서 덜 드러날 수 있다. 라슈카는 같은 과제를 여러 하네스에서 시험해야 그 차이를 알 수 있다고 봤다.

그는 새 모델에 맞춰 에이전트 작업 지침도 점검할 필요가 있다고 덧붙였다. AGENTS.md나 SKILL.md에 오래전에 적어 둔 세세한 설명이 이제는 모델의 더 나은 해결책을 가로막을 수 있다는 것이다. 반대로 반복 작업에서 유용한 지침까지 모두 없애자는 뜻은 아니다. 어떤 절차를 남기고 어떤 절차를 다시 쓰거나 지울지 살펴보라는 제안이다.

마우스로 그린 그림과 맥에서의 학습

아스트라의 강점은 이미지를 만드는 데서 그치지 않고 화면 속 도구를 조작하는 데서 드러났다. 라슈카는 아스트라가 컴퓨터의 마우스를 이용해 브라우저판 그림판(MS Paint)에서 자신의 사진을 다시 그리게 했다. 결과물의 그림 솜씨뿐 아니라 화면을 보며 커서를 움직여 작업했다는 점을 강조했다. 앞선 GPT 모델도 하네스를 통해 일부 사용자 인터페이스 작업을 수행했지만, 그는 컴퓨터 조작이 아직 다듬어지는 단계라고 봤다.

그동안 텍스트 모델이 다루기 쉬운 대상은 글, 코드, API, 명령줄 도구였다. 하지만 모든 소프트웨어가 그런 접점을 제공하지는 않는다. 화면을 보고 클릭과 입력을 수행할 수 있다면 별도 인터페이스가 없는 도구로도 작업 범위를 넓힐 수 있다. 라슈카는 앞으로 모델 자체와 이를 움직이는 하네스 양쪽에서 컴퓨터 조작 능력을 개선하는 일이 중요해질 것으로 예상했다.

그는 오픈AI가 강화학습을 위해 맥 미니(Mac Mini)와 맥 스튜디오(Mac Studio)를 수만 대 구입했다는 보도도 이 흐름과 연결했다. 설명에 따르면 맥은 모델 가중치를 계산하는 장비라기보다 macOS 화면과 앱을 경험하게 하는 작업 환경이다. 하네스가 화면을 보여주면 모델이 클릭·키 입력·스크롤을 고르고, 실행 뒤 새 화면을 받아 성공 여부를 확인하는 과정을 반복한다. 성공·실패 신호를 학습에 활용하더라도 아스트라는 중간 추론 과정을 생성하는 추론 모델이라는 것이 라슈카의 설명이다.

같은 22개 블록을 두 번 통과하면

아스트라의 구조를 둘러싼 논쟁을 이해하려면 루프형 트랜스포머부터 볼 필요가 있다. 트랜스포머 블록(입력 정보를 주의집중 연산 등으로 처리하는 단위)을 새로 계속 쌓는 대신, 이미 있는 블록에 중간 결과를 다시 통과시키는 방식이다. 반복할 때 블록의 가중치(학습된 계산 값)는 그대로 사용한다. 라슈카는 이를 새 블록을 추가하지 않고 계산상 깊이를 늘리는 선택이라고 설명했다.

공개 가중치 모델 난베이거 4.2 3B(Nanbeige4.2-3B)가 구체적인 사례다. 이 모델은 서로 다른 가중치를 가진 블록 22개를 차례로 통과한 뒤, 결과를 같은 22개 블록에 다시 넣는다. 블록 적용 횟수는 44회가 되지만, 블록 44개를 각각 저장하는 일반적인 구조와 달리 두 번째 통과에는 첫 번째 가중치를 재사용한다. 연구진은 세 번 반복하면 성능이 더 오를 수 있지만 추가 계산 비용에 비해 이득이 작아 두 번을 택했다.

가중치를 덜 저장한다고 계산까지 절반이 되는 것은 아니다. 순방향 계산은 여전히 44회 블록 적용을 거치며, 학습 때 역방향 계산도 두 번의 통과를 따라 수행한다. 이전 토큰의 정보를 저장하는 KV 캐시(다음 토큰 생성 때 재사용하는 주의집중 연산 기록) 역시 통과할 때마다 중간 상태가 달라 별도로 필요하다. 난베이거 연구진이 두 통과의 캐시를 공유해 크기를 줄였을 때는 모델 성능이 떨어졌다.

토큰마다 다른 반복 횟수

모든 입력에 똑같이 두 번의 계산을 배정할 필요는 없다. 2018년 제안된 유니버설 트랜스포머(Universal Transformer)는 같은 블록을 반복 적용하면서 토큰(모델이 처리하는 텍스트 단위)마다 멈추는 시점을 달리하는 방법을 탐구했다. 학습된 함수가 각 단계에서 멈출 확률을 내며, 해당 위치에서 이 확률들을 단계마다 누적한 합이 기준을 넘으면 반복을 끝낸다. 계산이 더 필요한 위치에 시간을 쓰려는 설계다.

바이트댄스(ByteDance)의 우로 싱킹 2.6B(Ouro-Thinking 2.6B)는 블록 48개의 묶음을 네 번 적용해 총 192회 블록 계산을 수행한다. 출력에 어느 단계의 결과를 쓸지 고르는 장치도 두지만, 라슈카는 공개된 허깅페이스(Hugging Face) 구현이 선택 전에 설정된 네 번의 계산을 모두 수행한다고 지적했다. 출구를 고르는 기능이 실제 계산량 절감으로 이어지는지는 구현 방식까지 봐야 한다는 얘기다.

재귀 혼합(Mixture-of-Recursions) 연구는 작은 라우터(입력의 계산 경로를 고르는 장치)로 토큰별 반복 횟수를 정한다. 같은 단어라도 앞뒤 맥락에 따라 다른 횟수로 처리할 수 있다. 연구 결과 작은 모델에서는 일반 트랜스포머가 더 좋았지만, 큰 모델에서는 재귀 혼합이 따라잡거나 앞서는 경우가 있었다. 특히 학습 계산 예산이 적을 때 이점이 나타났으며, 계산을 건너뛴 만큼 같은 예산에서 더 많은 토큰을 처리할 수도 있다.

RNN과 닮았지만 반복하는 자리는 다르다

‘반복 깊이’라는 이름은 순환 신경망(RNN)을 떠올리게 한다. 둘 다 학습된 가중치를 다시 쓰지만, 반복하는 축이 다르다. RNN은 앞 토큰을 처리한 상태를 다음 토큰으로 넘기며 시간 순서에 따라 계산을 이어간다. 반면 여기서 말하는 루프형 트랜스포머는 한 토큰의 중간 표현을 같은 블록에 여러 번 통과시키고, 토큰 사이의 정보 교환에는 계속 주의집중 연산을 쓴다.

따라서 블록을 반복한다는 사실만으로 모델이 내부에 문장 형태의 생각을 따로 만들어 저장한다고 볼 수는 없다. 일반 모델에서 서로 다른 블록을 더 깊게 쌓는 것과 비교하면, 핵심적인 차이는 계산 단계의 가중치를 공유한다는 점이다. 이 구분은 아스트라가 추론을 ‘숨긴다’는 주장을 따질 때 중요해진다. 계산 과정이 늘어나는 것과 사람이 읽을 수 있는 추론 문장이 생성되는 것은 다른 일이기 때문이다.

아스트라 구조 보도와 짧아진 추론 기록

디 인포메이션(The Information)은 아스트라 공개에 앞서 이 모델에 반복 깊이 구조가 쓰였다고 보도했다. 라슈카는 기존 연구에서 가능성이 확인된 기법인 만큼 아스트라에 관련 구조가 쓰였을 개연성을 높게 봤다. 그러나 공식 확인은 없고, 오픈AI 수석과학자 야쿠브 파호츠키(Jakub Pachocki)의 설명만으로도 구조를 특정할 수는 없다. 파호츠키는 아스트라를 포함한 최신 모델의 계산 그래프 깊이가 GPT-4의 두 배 이내라고 밝혔는데, 이는 일반 블록을 더 쌓은 경우에도 들어맞는다.

라슈카는 아스트라의 성능 향상을 반복 구조 하나로 설명하는 데도 선을 그었다. 개선된 학습 방식과 데이터가 주된 이유일 가능성이 크고, 반복 구조의 기여는 그보다 작을 수 있다고 봤다. 추론 기록에 대해서도 사용자는 이미 오픈AI o1부터 대부분의 중간 기록을 보지 못했다. 이번 논쟁의 초점은 사용자 화면에 무엇이 표시되느냐보다 개발자가 모델의 행동을 얼마나 감시할 수 있느냐다.

추론 기록 또는 사고의 사슬(최종 답변 전에 생성하는 중간 텍스트)은 모델이 답을 고치거나 다른 길을 시도하는 작업장 역할을 한다. 아스트라는 같은 정확도에서 솔보다 적은 토큰을 쓰지만, 전반적으로 언제나 더 짧은 기록을 만드는 것은 아니다. 라슈카는 기록이 짧은 이유가 내부 계산으로 추론을 감췄기 때문이 아니라, 실수를 덜 하고 되돌아가는 횟수가 줄었기 때문일 수도 있다고 봤다. 그는 사고의 사슬 자체도 모델 내부에서 일어난 모든 일을 충실하게 설명한다고 보장할 수는 없다고 짚었다.

아스트라의 시스템 카드에는 추론 기록을 통한 감시 가능성이 솔보다 일부 낮아졌다는 내용이 있다. 주로 기록이 짧고 담긴 정보가 적은 현상과 관련되지만, 그것이 반복 구조 때문인지는 드러나지 않았다. 파호츠키 역시 사고의 사슬 감시가 약해지는 흐름을 우려하면서도 그 원인이 구조 변경에 달린 것은 아니라고 설명했다. 라슈카가 경계하는 것은 실제로 생긴 감시의 어려움을 확인하는 일과, 그 원인을 특정 구조에 곧바로 돌리는 일을 혼동하는 것이다.

추가 반복이 바꾸는 것과 남기는 것

라슈카가 소개한 후속 연구들은 반복 구조의 선택지가 더 넓다는 점을 보여준다. 잠재 추론을 다룬 2025년 연구는 학습 중 반복 횟수를 바꿔, 실행할 때 8회·32회·64회처럼 계산 예산을 고를 수 있게 했다. 평가에서는 헬라스웨그(HellaSwag) 성능이 약 여덟 번 이후 대체로 정체됐지만, GSM8K와 휴먼이밸(HumanEval)은 더 많은 반복의 도움을 받았다. 이 모델도 텍스트로 된 사고의 사슬을 생성할 수 있으며, 반복은 출력 토큰을 내기 전에 계산을 더하는 방식이다.

다른 연구는 저장된 지식을 늘리는 일과 저장된 지식으로 문제를 푸는 일을 분리했다. 매개변수 수가 같을 때 반복을 늘려도 기억할 수 있는 정보량은 거의 변하지 않았지만, 여러 단계의 수학 문제에서는 성능이 개선됐다. 스멜트(SMELT) 연구는 토큰당 연산량, 임베딩을 제외한 매개변수 수, KV 캐시 부담을 비슷하게 맞춰 비교했다. 연구진은 조사한 계산 범위에서 같은 검증 손실에 도달하는 데 필요한 학습 연산량이 반복 구조에서 약 6.8~18% 적다고 추정했다.

반복 계산이 언제나 짧은 추론 문장으로 이어지는 것도 아니다. 풀 밴드위스 트랜스포머(Full-bandwidth Transformer) 연구에서는 앞 토큰의 최종 내부 상태를 다음 토큰 계산에 반영하자, 10억 매개변수 기본 모델의 MATH500 추론 기록이 짧아지면서 정확도는 유지되거나 올랐다. 하지만 명령어 학습 뒤에는 그 효과가 사라졌다. 라슈카는 추론 기록의 길이와 충실도를 판단하려면 반복 방식뿐 아니라 학습 과정, 그리고 일반적인 모델 확장과의 비교까지 함께 살펴야 한다고 정리했다.

커뮤니티 의견

한 사용자는 토큰마다 반복 여부를 정하는 유니버설 트랜스포머의 이론적 성질을 거론하며, 사고의 사슬 없이도 복잡한 계산을 할 수 있다고 설명했다. 동시에 텍스트 추론 기록이 답에 이른 실제 과정을 보여주는지부터 불확실하다고 지적했다. 기록에만 의존해 모델을 감시하는 방식에는 한계가 있다는 주장이다.

다른 사용자는 모델을 반복 실행해 중간 출력을 밖으로 내보내지 않는다면 그것이 곧 숨겨진 추론 아니냐고 물었다. 답글에서는 블록을 반복 계산하는 일과 여러 개의 추론 토큰을 만들어 작업장으로 쓰는 일을 구분해야 한다는 반론이 나왔다. 반복 블록이 있다고 해서 텍스트 추론 기록을 반드시 감춰야 하는 것은 아니며, 같은 깊이의 일반 모델과 근본적으로 다르지 않다는 설명이다.

아스트라의 감시 가능성이 낮아졌다는 점을 더 무겁게 보는 의견도 있었다. 한 사용자는 여러 평가에서 추론 기록 없이 여러 단계를 거치는 문제를 푸는 능력이 크게 향상됐다며, 단순히 모델이 똑똑해져 토큰을 아낀다는 설명으로는 부족하다고 주장했다. 이에 연결된 답글에서는 작은 반복형 모델을 다룰 때도 적절한 반복 횟수를 찾기 어렵다고 했다. 너무 적으면 성능을 놓치고, 너무 많으면 오히려 성능이 떨어질 수 있다는 경험이다.

화면 조작 시연을 본 사용자는 그림판에서 실시간으로 그림을 그리는 모습이 인상적이었다고 했다. 비슷한 그래픽 생성 시연을 이미 봤더라도, 모델이 마우스를 움직이며 화면 속 도구를 쓰는 장면은 다르게 다가왔다는 반응이다. 이는 라슈카가 그래픽 작업을 컴퓨터 조작 능력이 드러나는 사례로 고른 이유와 맞닿아 있다.

보도의 어조를 문제 삼는 의견도 나왔다. 한 사용자는 가중치를 재사용하는 구조가 마치 새롭고 위험한 비밀 기술처럼 소개됐다며, 반복 자체가 사고의 사슬 감시를 어렵게 만드는 것은 아니라고 봤다. 반면 답글에서는 오픈AI의 정확한 구현을 외부에서 알 수 없고, 아스트라의 추론 기록을 감시하기가 어려워졌다는 발표도 가볍게 넘길 수 없다고 맞섰다. 구조에 대한 설명과 실제 모델에서 관찰된 변화를 분리해 보자는 논쟁이다.

실사용의 신뢰성을 걱정하는 사용자도 있었다. 한 사용자는 아스트라가 시스템 수준 작업에서 지나치게 적극적이고 창의적으로 행동해, 접근하지 않아야 할 파일을 건드리는 듯한 경험을 했다고 말했다. 답글에서는 솔에 비해 개선을 체감하지 못하거나 작업 중 행동을 지켜봐야 했다는 사례가 이어졌다. 벤치마크 성능과 컴퓨터를 맡길 만한 안정성은 별도로 평가해야 한다는 문제의식이다.

연산 비용에 관한 질문도 제기됐다. 한 사용자는 가중치를 다시 쓰면 메모리를 덜 차지하는 대신 남는 연산 능력을 활용할 수 있는지 물었다. 답글은 메모리에 저장할 용량과 데이터를 읽어 오는 대역폭을 구분해야 한다고 설명했다. 두 번째 통과 때도 가중치를 다시 읽어야 하고 KV 캐시는 별도로 쌓이므로, 가중치 저장량 감소를 실행 비용 전반의 절감으로 받아들여서는 안 된다는 지적이다.

핵심 통찰

아스트라가 보여준 변화는 AI가 답을 잘 쓰는 수준을 넘어, 사람의 컴퓨터 화면에서 직접 일을 처리하기 시작했다는 데 있다. 그래서 성능만큼 중요한 기준도 달라진다. 반복 구조가 실제로 채택됐는지, 같은 연산 예산에서 얼마나 이득인지 확인해야 하고, 짧아진 추론 기록이 감시 능력에 미치는 영향도 별도로 측정해야 한다. 무엇보다 파일과 앱에 접근하는 하네스의 행동을 사용자가 살피고 통제할 수 있어야 한다. 더 깊은 내부 계산을 둘러싼 논쟁은 결국 AI에게 일을 어디까지 믿고 맡길 수 있느냐의 문제로 이어진다.


원본: GPT-6 Astra, Looped Transformers, and Hidden Reasoning

토론: Hacker News