아스트라의 ‘가중치 읽고 큐원 개선’, 무엇이 달랐나

GPT-6 아스트라(GPT-6 Astra)가 신경망의 가중치를 읽고 고쳐 큐원(Qwen)의 수학 점수를 높였다는 글은 서로 다른 방식의 실험을 하나의 능력처럼 보이게 한다. 기술 블로그 호니발(honnibal.dev)의 필자는 작은 신경망의 숫자를 도구 없이 살핀 실험과, 파이썬 코드를 작성해 언어모델을 분석·수정한 실험을 구분해야 한다고 지적했다. 점수 상승만큼 중요한 것은 아스트라가 무엇을 입력받고, 어떤 도구를 쓰고, 모델을 얼마나 시험할 수 있었는지다. 이 차이를 놓치면 AI가 가중치를 다루는 능력을 실제보다 훨씬 넓게 해석하게 된다.

핵심요약

  • 호니발은 원시 가중치를 직접 살핀 실험과 큐원을 개선한 실험의 방법이 다른데도, 원래 글의 초록이 이를 하나의 능력처럼 읽히게 한다고 지적했다.
  • 도구 없이 가중치의 숫자만 본 조건은 가중치 1만7000~17만2000개짜리 신경망을 다룬 1·2·4번 실험에 한정되므로 큐원 실험에 적용되지 않는다.
  • 큐원 실험에서 아스트라는 파이썬을 사용하고 연습 문제를 최대 50개 배치로 실행할 수 있었으므로, 결과에는 코드 작성과 모델 시험 능력이 함께 반영됐다.
  • 원래 글은 가중치 0.016%를 수정한 뒤 MATH-500 점수가 7.9%에서 48.1%로 올랐다고 제시했지만, 토론에서는 추론 반복을 줄인 효과라는 해석이 나왔다.
  • 토론 참가자들은 기존 기법을 과장했다는 비판과 별개로, AI가 가중치 수정 작업을 수행하고 이를 다른 모델 작업에 응용할 가능성에도 주목했다.

마술 비유가 겨냥한 착시

호니발은 무대 마술사가 같은 묘기를 여러 수법으로 되풀이하는 장면으로 비판을 시작한다. 첫 공연에서는 특수한 소품을 쓰고, 다음에는 평범한 소품을 보여주면서 물체를 손에 감추고, 또 다른 공연에서는 관객의 선택을 유도할 수 있다. 관객이 세 공연에 모두 같은 수법이 쓰였다고 가정하면, 새 공연을 볼 때마다 자신의 추측이 반박되는 것처럼 느낀다. 실제로 달라진 것은 마술사가 쓴 방법이다.

필자는 아스트라 실험을 한데 묶어 읽을 때도 비슷한 착시가 생긴다고 본다. 어떤 실험에서는 신경망의 가중치(모델의 동작을 결정하는 숫자 매개변수)를 있는 그대로 보고, 다른 실험에서는 프로그램을 작성해 가중치를 분석하거나 수정한다. 두 작업 모두 흥미롭지만, 같은 방법으로 이뤄진 성과는 아니다. 방법의 차이를 지우면 아스트라가 숫자 배열을 직접 이해하는 능력과 엔지니어링 도구를 활용하는 능력이 뒤섞인다.

이 비판은 개별 결과를 무효로 만들려는 것이 아니다. 작은 신경망의 가중치에서 단서를 찾아낸 일과 큰 모델의 동작을 바꾸는 코드를 짠 일은 각각 살펴볼 가치가 있다. 다만 앞의 실험에서 허용되지 않은 도구가 뒤의 실험에서는 쓰였다면, 하나의 능력이 규모를 키워 그대로 발휘됐다고 설명할 수 없다. 호니발이 문제 삼는 지점은 바로 그 연결 방식이다.

초록에 나란히 놓인 두 성과

비판 대상 글의 초록은 아스트라가 원시 가중치(가공하지 않은 매개변수의 숫자)만 보고 신경망이 무엇을 하도록 훈련됐는지 알아냈다고 소개한다. 이어 환경의 피드백 없이 작은 게임용 신경망을 처음부터 작성해, PPO(보상을 바탕으로 행동 전략을 조정하는 학습법)로 1억 단계 동안 훈련한 신경망보다 나은 성적을 냈다고 말한다. 그다음에는 큐원3.5-0.8B의 수학 점수를 높인 결과가 나온다. 이 순서대로 읽으면 앞서 강조한 ‘숫자만 보기’가 뒤의 성과에도 쓰인 듯한 인상을 받기 쉽다.

큐원 실험에 붙은 수치는 특히 눈길을 끈다. 초록은 아스트라가 추론 반복을 일으키는 문제를 찾아 가중치의 0.016%를 수정했다고 설명한다. 같은 샘플링 설정에서 수학 문제 평가인 MATH-500 점수는 7.9%에서 48.1%로 올랐고, 지시를 따르는 능력을 평가하는 IFEval 점수는 3배가 됐다고 제시한다. 경사도(오차를 줄이기 위해 가중치를 어느 방향으로 바꿀지 알려주는 값)를 쓰지 않았다는 설명도 곁들인다.

호니발의 질문은 이 수치가 사실이냐가 아니라 독자가 성과에 이른 경로를 어떻게 받아들이느냐다. 초록 앞부분의 ‘원시 가중치만 보기’와 뒷부분의 큐원 개선을 같은 실험 조건으로 이해한다면, 아스트라가 큰 언어모델의 숫자를 훑어 문제를 찾아낸 것으로 생각하게 된다. 하지만 작은 신경망의 기능을 알아맞히는 일과 큐원의 동작을 고치는 일에 허용된 작업은 다르다. 초록에서 이 경계가 흐려질수록 점수 상승이 암시하는 능력도 실제 실험보다 커진다.

숫자만 본 실험의 범위

호니발이 엄격하게 정의한 ‘원시 가중치만 보기’에서는 가중치의 숫자가 입력 문맥에 주어진다. 아스트라는 도구를 사용하지 않고 신경망도 실행하지 않은 채 그 숫자를 살핀다. 이 조건이 적용된 것은 1·2·4번 실험이며, 대상 신경망의 가중치는 1만7000~17만2000개다. 숫자를 직접 읽어 기능을 추론할 수 있느냐는 질문은 이 실험들에서 다뤄진다.

다른 실험까지 살피면 아스트라가 받은 단서와 허용된 행동은 훨씬 다양하다. 호니발은 실패 장면이 기록된 사례 한 건을 받은 조건과, 한 번의 시도에서 가중치 3.5%를 바꾼 조건을 따로 짚는다. 최대 16개 텍스트를 실행하되 결과 출력은 보지 않고 어텐션 패턴(모델이 입력의 어느 부분에 주목하는지 나타내는 양상)만 살핀 조건도 있다. 모두 가중치를 다루는 실험이지만, 관찰할 수 있는 정보와 개입할 수 있는 범위는 같지 않다.

따라서 ‘가중치를 읽고 썼다’는 짧은 요약만으로는 실험을 재구성하기 어렵다. 숫자가 처음부터 주어졌는지, 모델의 실패 사례를 봤는지, 실행 과정의 내부 패턴을 확인했는지에 따라 해결해야 할 문제가 바뀐다. 수정을 허용했다면 한 번에 얼마나 많은 가중치를 바꿀 수 있었는지도 함께 봐야 한다. 호니발은 이런 차이를 남겨 둬야 각 결과가 보여준 능력을 정확히 비교할 수 있다고 주장한다.

처음부터 만든 게임 신경망

작은 게임용 신경망을 처음부터 작성한 실험은 기존 신경망을 읽는 작업과도 구별된다. 호니발에 따르면 이 실험의 가중치는 0에서 시작하므로, 아스트라가 해석할 만한 기존 가중치가 없다. 여기서 묻는 것은 이미 훈련된 모델의 숫자에서 기능을 알아내는 능력이 아니라, 필요한 동작을 하도록 가중치를 구성하는 능력이다. ‘읽기’와 ‘처음부터 쓰기’는 같은 가중치 공간에서 벌어져도 출발점이 다르다.

게임 성능을 평가할 때도 비교 대상을 구분해야 한다. 비판 대상 글의 초록은 PPO로 1억 단계 동안 훈련한 신경망보다 나은 결과를 강조한다. 호니발이 따로 제시한 PPO 5억 단계 모델과의 비교에서는 브레이크아웃이 517 대 25로 아스트라 쪽이 앞섰다. 반면 시퀘스트는 53 대 89, 아스테릭스는 53 대 55로 뒤졌다.

이 수치들은 게임용 신경망을 만드는 성과가 어느 조건에서 두드러졌는지 보여준다. 브레이크아웃의 큰 격차만 보면 모든 비교에서 우세했다고 생각하기 쉽지만, 나머지 두 게임의 결과는 그렇지 않다. 반대로 다른 게임에서 졌다는 이유만으로 가중치를 처음부터 구성한 시도 자체가 사라지는 것도 아니다. 어떤 게임에서 어떤 훈련량의 모델과 겨뤘는지를 함께 밝혀야 성과의 범위가 보인다.

큐원 개선에 쓰인 코드와 연습 문제

실제 언어모델이 등장하는 모든 실험에는 파이썬이 쓰였다고 호니발은 정리한다. 가장 주목받은 큐원 실험에서 아스트라는 연습 문제를 최대 50개 배치로 모델에 실행해 볼 수도 있었다. 도구 없이 숫자만 보고, 신경망도 실행하지 않는 앞선 실험과는 조건이 다르다. 큐원 결과를 이해하려면 아스트라가 가중치를 직접 들여다봤다는 표현보다 어떤 분석 절차를 만들고 시험했는지를 봐야 한다.

호니발은 이 결과를 인간 머신러닝 엔지니어가 할 법한 일을 아스트라가 지시받아 수행한 사례로 해석한다. 엔지니어도 짧은 코드를 작성해 모델의 가중치를 분석하고 때로는 직접 수정한다는 것이다. 중요한 것은 코드를 썼다는 사실만이 아니라, 무엇을 살펴보고 어디를 고칠지 생산적인 절차를 찾아냈다는 점이다. 연습 문제 실행이 허용됐다는 사실 역시 아스트라가 수정 대상을 살피는 데 사용할 수 있었던 조건의 일부다.

필자는 이런 능력을 하찮게 여기지 않는다. 오히려 1~2년 전 AI 모델이었다면 이 과제들을 모두 해내지 못했을 것이라고 평가한다. 그럼에도 ‘코드를 고안해 큰 모델을 분석하고 수정했다’는 성과를 ‘원시 가중치만 보고 큰 모델을 이해했다’고 바꿔 말해서는 안 된다고 본다. 두 설명은 아스트라의 유용성을 인정한다는 점에서는 같지만, 능력이 발휘된 방식을 전혀 다르게 전달한다.

하나의 기술이었다면 달라졌을 주장

호니발이 실험의 경계를 강조하는 이유는 두 성과를 한 가지 방법의 결과로 묶을 때 훨씬 강한 주장이 되기 때문이다. 같은 기술로 작은 게임 신경망의 가중치를 처음부터 쓰고, 기존의 큰 언어모델까지 이해해 성능을 높였다면 가중치 전반을 다루는 깊은 능력을 보여준 셈이다. 새 모델을 만드는 능력과 이미 만들어진 모델을 고치는 능력이 한데 이어지기 때문이다. 필자는 실제 실험들이 그런 하나의 기술을 검증한 사례는 아니라고 말한다.

작은 신경망에서 숫자를 직접 읽는 조건은 큐원 실험으로 이어지지 않았다. 게임용 신경망을 처음부터 작성할 때는 읽을 기존 가중치가 없었고, 큐원을 개선할 때는 파이썬과 연습 문제 실행이 허용됐다. 각 성과를 한 문장에 이어 적을 수는 있어도, 그 사이의 방법까지 같아지는 것은 아니다. 호니발이 마술 비유로 지적한 착시는 바로 이 빈틈에서 생긴다.

독자가 확인할 항목도 그만큼 구체적이다. 가중치의 숫자를 입력으로 받았는지, 분석 코드를 작성했는지, 모델의 동작을 실행해 확인했는지부터 살펴야 한다. 성능 향상 수치에는 수정한 가중치의 비율뿐 아니라 어떤 비교와 시험 조건이 붙었는지도 중요하다. 이런 조건을 나눠 읽으면 작은 신경망에서의 직접 작업과 큐원에서의 코드 기반 수정이 각각 무엇을 보여줬는지 더 분명해진다.

커뮤니티 의견

한 사용자는 자신이 기계적 해석 연구를 한다며, 큐원 결과의 핵심이 새 수학 능력을 더한 데 있지 않다고 했다. 추론을 닫는 </think> 토큰의 생성 확률이 너무 낮아 반복이 생겼고, 이를 줄이면서 점수가 오른 것으로 봤다. 그는 모델 내부에 방향 벡터를 더하는 기존 방식으로도 이런 문제를 다룰 수 있으며, 아스트라가 방향을 찾는 데 쓴 대조 분석도 연구자의 표준적인 절차라고 설명했다. 코딩과 언어모델 내부 구조를 아는 사람이라면 4~8시간에 할 만한 작업이라는 평가도 덧붙였다.

다른 사용자는 원래 글이 자신의 모델 작업에는 새로운 계기가 됐다고 했다. 원하는 형식의 깃 커밋 메시지를 만들려고 작은 모델을 몇 주간 훈련했지만 만족할 만한 결과를 얻지 못했고, 큰 모델에 가중치 수정을 맡긴 뒤 더 진전됐다는 경험이다. 그는 한 행렬에서 방향 16개를 제거하자 한쪽 추론은 개선되고 다른 쪽은 나빠졌지만, 그중 하나를 되돌려 성능 저하를 회복하면서 주된 개선은 유지했다고 설명했다.

원래 글의 본문을 읽으면 실험 방식의 차이가 드러난다는 반론도 나왔다. 이 사용자는 제목과 앞부분만 읽으면 잘못 이해할 수 있지만, 상세 설명에는 무엇을 했는지가 나온다고 봤다. 이에 대한 답글은 실제 토론에서 큐원의 원시 가중치를 직접 읽어 개선했다고 받아들인 사람이 많다고 맞섰다. 본문에 설명이 있더라도 제목과 초록이 서로 다른 실험을 한 방법처럼 연결한다면 오해를 부를 수 있다는 주장이다.

기존 연구와의 유사성을 짚는 의견도 있었다. 한 사용자는 아스트라의 가중치 수정이 이미 알려진 접근을 떠올리게 한다고 했고, 또 다른 사용자는 특정 방향을 제거하는 방식에 주목했다. 후자는 그런 수정이 새 능력을 추가하기보다 기존 동작을 방해하던 요인을 걷어내는 데 가깝다고 봤다. 따라서 큐원의 수학 점수 상승도 추론 반복을 완화한 결과로 읽어야 한다는 해석이다.

‘가중치 공간 프로그래밍’이라는 발상 자체는 인상적이라는 의견도 나왔다. 사람도 도구를 만들어 가중치를 수정하지만, 아스트라가 그 작업을 수월하게 수행하는 모습은 흥미롭다는 평가다. 반면 답글에서는 AI가 가중치를 신비롭게 이해했다기보다 가중치를 쓰거나 고치는 프로그램을 작성한 것이라고 구분했다. 다른 사용자는 게임 가중치를 분석한 작업 기록도 사람의 일반적인 역공학과 닮았으며, 다만 훨씬 빠르게 수행됐다고 봤다.

앞으로의 가능성에 주목한 사용자는 지금의 방식이 코드와 도구를 활용한다는 이유만으로 탐색을 멈출 필요는 없다고 봤다. 연구실이 가중치 공간에서 문제를 풀도록 모델을 더 훈련하면 능력이 좋아질 수 있다는 전망이다. 그는 이 접근이 모델 증류나 미세조정 같은 작업에도 이어질 수 있을지 질문했다. 이는 이번 큐원 실험에서 이미 달성한 성과라기보다 다음에 시험해 볼 방향에 관한 의견이다.

비판 글이 새로 알려준 내용은 없다는 의견과, 오해의 책임을 연구자에게만 돌리기 어렵다는 의견도 뒤따랐다. 후자는 원래 글의 설명이 상세했고 온라인 토론에서 자극적인 해석이 확대됐다고 주장했다. 반대쪽에서는 본문에 방법이 적혀 있더라도 제목과 초록이 잘못된 인상을 준다면 비판할 수 있다고 맞섰다. 논쟁은 실험 설명이 얼마나 자세했는지뿐 아니라, 독자가 가장 먼저 보는 문장이 무엇을 암시했는지로 이어졌다.

또 다른 사용자는 원래 글을 읽고 자신이 만든 모델의 병목을 가중치 수정으로 살펴봤다고 했다. 게임용 신경망을 처음부터 구성하는 접근도 작은 모델 작업에 적용해 봤으며, 그 과정에서 6800만 개 매개변수 모델을 1700만 개 모델로 대체했다고 전했다. 스타일러스 도구 인식 정확도도 88%에서 96%로 높였다는 것이 그의 설명이다. 이 경험은 큐원 성과를 어떻게 표현해야 하는지에 관한 논쟁과 별개로, 실험 아이디어가 다른 작업을 촉발할 수 있음을 보여준다.

핵심통찰

이번 논쟁의 핵심은 AI가 가중치를 고칠 수 있느냐가 아니라, 어떤 단서를 받고 어떤 도구를 써서 고쳤느냐다. 아스트라가 코드를 작성해 큐원의 동작을 개선한 일은 주목할 만하지만, 이를 원시 가중치의 숫자만 보고 큰 모델을 이해한 일과 합치면 능력의 경계가 흐려진다. 앞으로 비슷한 발표에서는 점수 상승과 수정 비율뿐 아니라 입력 정보, 코드 실행 여부, 모델을 시험할 수 있었던 범위를 함께 봐야 한다. 그래야 이미 보여준 기술과 앞으로 검증해야 할 가능성을 나눌 수 있다.


원본: The ‘Astra can read and write weights to improve Qwen’ post is misleading · honnibal.dev

토론: Hacker News