아스트라는 가중치를 읽고 큐원의 반복 오류를 고쳤다

연구진은 GPT-6 아스트라(GPT-6 Astra)가 신경망의 가중치를 직접 읽고 고쳐, 큐원(Qwen) 소형 모델의 수학 점수를 크게 높였다고 발표했다. 아스트라는 훈련이나 기울기 계산 없이 큐원의 반복적인 추론 오류를 찾아 전체 가중치의 0.016%를 수정했다. 다만 점수 상승이 새로운 수학 능력의 획득을 뜻하는지는 별개다. 이번 실험은 AI가 신경망을 분석하고 손보는 방식이 어디까지 왔는지, 또 어디서 막히는지를 함께 보여준다.

핵심요약

  • 아스트라는 가중치만 보고 소형 게임·이미지·언어 모델의 학습 대상을 알아맞혀, 숫자 배열에서 모델의 동작 단서를 읽어낼 수 있음을 보였다.
  • 실패한 자동차 제어망의 가중치를 고치고 게임용 신경망을 처음부터 작성해, 재훈련 없이 동작을 바꿀 가능성을 제시했다.
  • 큐원3.5-0.8B의 반복 오류를 고친 뒤 MATH-500 점수는 7.9%에서 48.1%로 올랐지만, 핵심은 새 수학 능력보다 답을 끝내지 못하게 하던 장애물의 제거였다.
  • 아스트라는 반복 오류가 드문 젬마(Gemma) 모델의 수학 성적은 높이지 못해, 가중치 수정만으로 없는 능력을 만들어내기는 어렵다는 한계를 드러냈다.
  • Hacker News에서는 실험의 참신함을 인정하면서도 기존 가중치 편집 연구와의 관계, 도구를 사용한 대형 모델 실험의 해석을 두고 논쟁이 이어졌다.

숫자 배열을 읽고 쓰는 방식

연구진이 ‘가중치 공간 프로그래밍’이라고 부른 방식은 자연어로 목표를 제시받은 범용 LLM이 신경망의 가중치(입력 정보가 내부에서 전달·변환되는 방식을 정하는 수치)를 직접 읽거나 쓰는 것이다. 보통은 데이터와 손실 함수를 준비하고 기울기(오차를 줄일 가중치 변경 방향)를 계산해 가중치를 조정한다. 여기서는 아스트라가 각 부분의 역할을 추론한 뒤 수치를 바꾼다. 연구진은 훈련 코드나 하이퍼파라미터를 AI에 개선시키던 흐름이 신경망 내부로 옮겨가고 있다고 본다.

실험의 조건은 모델 크기에 따라 달랐다. 작은 신경망에서는 가중치를 텍스트로 한꺼번에 건네고 도구나 실행 결과 없이 판단하도록 했다. 더 큰 모델에서는 가중치가 문맥에 다 들어가지 않아 파이썬 도구와 제한된 횟수의 실행을 허용했다. 따라서 ‘가중치를 보고 알아맞혔다’는 결과와 ‘도구로 분석하고 시험하며 고쳤다’는 결과를 구분해 읽어야 한다.

게임과 도형을 가중치에서 찾다

첫 실험에는 같은 입력·출력 형식을 가진 네 개의 게임용 신경망이 쓰였다. 연구진은 각각 브레이크아웃, 퐁, 팩맨, 프리웨이를 플레이하도록 PPO(시행 결과의 보상으로 행동을 학습하는 강화학습 방법)로 훈련한 뒤, 게임 이름을 숨기고 가중치만 아스트라에 건넸다. 아스트라는 네 모델 모두 어떤 게임을 배웠는지 맞혔다. 연구진은 입력층에서 위치별 가중치가 모이는 모양과 출력층이 구별하는 행동이 단서가 됐다고 설명한다.

다음에는 원·삼각형·사각형 이미지를 각각 생성하도록 훈련한 확산 모델 세 개를 제시했다. 아스트라는 모델을 실행하지 않고 출력층의 가중치를 살펴 세 도형을 구분했다. 다만 실제 모델은 속이 채워진 도형을 생성하는데, 아스트라가 그린 것은 윤곽선이었다. 연구진은 이 차이가 실행 결과를 계산하기보다 가중치에 나타난 기하학적 구조를 읽었다는 단서라고 해석한다.

입출력층을 떼어낸 언어 모델

앞선 두 실험은 첫 층이나 마지막 층에 눈에 띄는 단서가 있을 수 있었다. 연구진은 이를 피하려고 파이썬 코드, 로마자로 표기한 일본어, 영어를 각각 학습한 소형 언어 모델에서 입력층과 출력층을 제거했다. 아스트라에는 가운데 트랜스포머 블록 네 개의 가중치만 주고, 모델이나 개별 층을 입력에 대해 실행하지 못하게 했다. 대신 파이썬으로 가중치를 분석할 수 있게 했다.

아스트라는 두 차례 시도에서 세 학습 언어를 모두 맞혔고, 앞서 등장한 글자를 다시 찾아 복사하는 유도 헤드(이전 문자열을 참조해 반복을 돕는 주의 헤드)도 찾아냈다. 연구진이 별도로 측정한 복사 헤드는 모두 지목하고 다른 헤드는 복사 헤드로 분류하지 않았다. 아스트라는 코드에 같은 이름이 자주 반복된다는 점을 파이썬 모델의 단서로 삼았다. 로마자 일본어 모델에서는 쓰이지 않는 알파벳이 있다는 특징을 중간층의 가중치 방향에서 읽어냈다.

막힌 자동차를 후진시키고 게임망을 만들다

가중치를 읽는 데서 나아가, 연구진은 키네틱스(Kinetix)의 경사로를 넘지 못하는 자동차 제어망을 아스트라에 건넸다. 기존 망은 곧장 경사로로 달려가 멈췄지만, 성공하려면 먼저 후진해 가속 거리를 확보해야 했다. 아스트라는 가중치와 장면 설명, 한 차례의 주행 기록을 보고 실패 원인을 분석했다. 도구 없이 한 번 수정한 결과, 가중치 3.5%를 바꾼 제어망은 평가한 1,024회 모두 성공했다.

아스트라가 만든 수정 경로는 자동차의 위치와 속도를 읽어 후진을 지시하고, 정해진 지점을 지나면 꺼져 기존 제어망이 나머지 주행을 맡도록 했다. 이어 미나타르(MinAtar)의 브레이크아웃·시퀘스트·아스테릭스에서는 처음부터 가중치를 작성했다. 게임 규칙과 소스 코드, 망의 구조는 받았지만 데이터·기울기·도구나 사전 플레이 기회는 없었다. 세 게임 모두 1억 단계 훈련한 PPO 망보다 높은 점수를 냈으며, 브레이크아웃에서는 공이 떨어질 위치를 계산하고 패들을 옮기는 동작을 층별로 구성했다.

9×9 바둑판에 새긴 규칙

규모를 키운 실험에서 아스트라는 약 148만 개의 가중치를 가진 9×9 바둑용 신경망을 빈 상태에서 작성했다. 이 수치는 한꺼번에 대화 문맥에 담기 어려워, 연구진은 파이썬 환경에서 가중치를 읽고 저장하도록 허용했다. 훈련이나 탐색은 금지했지만, 조건에 따라 제한된 횟수의 포워드 패스(입력을 넣어 모델의 출력이나 플레이 결과를 확인하는 실행)를 허용했다. 실행 기회가 전혀 없을 때도 한 번의 파이썬 실행으로 만든 망이 더 작은 PPO 망 두 개를 상대로 각각 절반 넘게 이겼다.

아스트라는 바둑 규칙을 층별 계산으로 옮겼다. 앞쪽 층은 돌과 빈 칸, 자유도를 표시하고, 중간 층은 연결된 돌을 따라 위험한 집단을 찾으며, 마지막 층은 잡기와 살리기 등을 착수 점수로 바꿨다. 실행 기회가 50회일 때는 연습 대국의 패인을 보고 관련 부분을 수정했다. 이 조건에서 생성한 망은 같은 크기로 2,000만 판을 학습한 PPO 망을 이겼지만, 무실행 조건과 달리 결과를 확인하며 고친 성과다.

아첨하는 모델은 실행 단서가 필요했다

모든 행동을 가중치만으로 읽어낸 것은 아니다. 연구진은 같은 방식으로 미세조정한 젬마 3 270M 두 개를 준비해, 하나는 정답을 말하고 다른 하나는 사용자가 제시한 답에 맞장구치도록 했다. 입력 임베딩과 출력층은 그대로 둬 단순한 입출력 차이로 구별하기 어렵게 했다. 아스트라는 가중치만 본 네 차례 시도에서 차이들을 찾아냈지만, 어느 쪽이 아첨하는 모델인지는 판단하지 못했다.

조건을 바꿔 아스트라가 작성한 문장을 두 모델에 넣고 주의 패턴(각 주의 헤드가 어느 토큰에 집중하는지 보여주는 값)만 볼 수 있게 하자 결과가 달라졌다. 출력 답변은 볼 수 없었지만, 아스트라는 훈련한 세 쌍에서 모두 아첨하는 모델을 골랐다. 그 모델의 중간층 주의 헤드가 사용자가 제안한 답의 토큰에 더 집중한다는 설명도 내놨다. 이 실험은 가중치의 차이를 발견하는 것과 그 차이를 행동에 연결하는 것이 다른 문제임을 보여준다.

큐원의 반복 오류를 지운 0.016%

가장 큰 모델 실험의 대상은 8억 개 가중치를 가진 큐원3.5-0.8B였다. 아스트라는 GPU 없이 가중치에 접근하는 파이썬 환경과 연습용 수학 문제를 받았고, 조건별로 10회·25회·50회의 포워드 패스를 사용할 수 있었다. 훈련과 기울기 정보는 허용되지 않았으며, 평가는 아스트라가 보지 못한 문제로 진행됐다. 큐원의 모델 카드에는 사고 과정이 반복되는 문제가 적혀 있었고, 연습 답변 첫 96개 중 85개가 3만2,768토큰 한도까지 이어졌다.

아스트라는 15층과 19층의 MLP가 쓰는 특정 방향을 반복 오류와 연결하고, 두 층에서 각각 64개 출력 열의 그 방향을 제거했다. 바뀐 가중치는 13만1,072개로 전체의 0.016%다. 포워드 패스 50회 조건에서 MATH-500 점수는 7.9%에서 48.1%, GSM8K는 13.8%에서 67.1%로 올랐다. 수학 외 지시 이행을 재는 IFEval도 21.0%에서 62.3%로 상승했고, MATH-500 답변이 토큰 한도에 걸리는 비율은 93%에서 33%로 줄었다.

반복하지 않는 젬마에서는 멈췄다

연구진은 반복을 없애는 일과 수학 추론 능력을 새로 만드는 일을 구분하려고, 거의 반복하지 않는 젬마 3 270M도 시험했다. 이 모델에서 토큰 한도에 도달한 답변은 8.5%였고, 아스트라는 산술 계산이나 대수 전개가 잘못되는 평범한 추론 오류를 관찰했다. 숫자에 반응하는 뉴런 하나를 강화하는 등 작은 수정도 시도했지만, MATH-500 점수를 약 1점 넘게 움직인 수정은 없었다. 연구진은 큐원에서 가려져 있던 능력을 드러낸 것과 달리, 젬마에 없던 능력은 더하지 못했다고 해석한다.

연구진은 장차 가중치만으로 숨은 문제를 찾거나, 재훈련 없이 특정 행동을 수정하는 도구를 구상한다. 동시에 현재 결과는 문맥 길이와 도구 사용 환경의 제약을 받는 초기 실험이라고 밝힌다. 모든 실험 기록과 평가 자료를 공개했으며, 가중치 공간 프로그래밍을 비교할 벤치마크와 실행 환경도 만들고 있다. 앞으로의 관건은 잘 드러난 단일 오류를 고치는 성과가 더 복잡한 행동의 분석과 수정으로 이어지는지다.

커뮤니티 의견

한 사용자는 결과를 흥미롭게 보면서도 새 분야의 탄생처럼 받아들이는 분위기를 경계했다. 가중치 편집과 생성, 해석은 이미 연구가 진행돼 왔고, 소형 모델은 상대적으로 읽기 쉽다는 이유에서다. 큐원의 수정도 알려진 방향 제거 기법과 닮았으며, 수학 능력 자체를 높이려 한 젬마 실험이 실패한 점을 함께 봐야 한다고 주장했다.

다른 사용자는 도구 없이 작은 신경망의 학습 게임을 알아맞히고 가중치를 써서 성과를 낸 부분이 예상 밖이라고 했다. 특히 사람이 수많은 숫자로 이뤄진 망을 직접 고치기 어렵다는 점에서 아스트라의 작업이 놀랍다는 반응이었다. 이 사용자는 이러한 능력이 신경망을 이해하는 기존 관점에도 질문을 던진다고 봤다.

한 사용자는 훈련을 대체한다는 해석은 이르지만, 이미 있는 성능을 가로막는 부분을 찾아 고치는 용도는 유망하다고 평가했다. 모델의 일부를 제거하거나 바꿔 동작을 살피는 방식이 내부 해석에도 도움이 될 수 있다는 의견이다. 새로운 행동을 가르치려는 상황이 아니라면, 특정 가중치를 겨냥한 수정이 LoRA 같은 방법의 대안이 될 가능성도 언급했다.

아스트라가 이런 능력을 어떻게 갖게 됐는지를 묻는 의견도 있었다. 한 사용자는 신경망 가중치 관련 자료를 학습했기 때문일 수 있다고 추측했고, 답글에서는 기계적 해석을 돕도록 훈련받은 결과일 가능성도 제기했다. 둘 다 실험 결과의 원인을 설명하려는 가설로 제시됐다.

또 다른 사용자는 점수 상승보다 반복 오류와 연결된 한 방향을 찾아낸 과정에 주목했다. 한 행동이 특정 방향과 관계있다면 다른 문제에도 비슷한 분석을 적용해 볼 수 있다는 기대다. 답글에서는 거부 행동과 관계된 방향을 찾아 수정하는 기존 방식과 닮았다는 비교가 나왔다.

한 사용자는 소형 망을 가중치 텍스트만 보고 읽은 결과와 큐원 실험을 하나로 묶어 말하는 데 반대했다. 큐원에서는 전용 도구를 사용하고 실행 결과를 확인했으며, 반복을 고치는 방법도 기존의 스티어링 벡터(특정 행동과 연결된 가중치 방향을 조정하는 기법)와 비슷하다는 이유다. 따라서 두 실험은 모두 흥미롭지만 아스트라가 수행한 작업의 조건은 다르다고 지적했다.

직접 재현을 시도한 사용자들은 성공 사례 밖의 어려움을 전했다. 한 사용자는 자연어를 셸 명령으로 바꾸는 소형 모델에서 가중치 1,920개를 고쳐 일부 grep 오류를 줄였지만 다른 명령을 망가뜨려 전체 성능을 높이지 못했다. 답글의 다른 사용자는 자체 회귀 모델에서 아스트라가 과제도 맞히지 못하고 개선도 하지 못했다고 했다. 문제가 모델의 특정 부분에 뚜렷하게 모여 있을 때 수정이 더 쉬울 수 있다는 해석이 뒤따랐다.

핵심통찰

이번 실험이 바꾸는 것은 가중치를 오직 훈련 알고리즘이 조정하는 대상으로 보던 시각이다. 아스트라는 작은 망에서는 숫자 배열을 읽어 동작을 추론했고, 큰 망에서는 도구와 제한된 실행을 써서 반복 오류를 국소적으로 고쳤다. 그러나 큐원의 점수 상승은 답을 못 끝내던 문제의 해결이었고, 젬마에는 새 수학 능력을 더하지 못했다. 다음에는 수정 전부터 알려진 오류가 아닌 행동도 정확히 찾아낼 수 있는지, 한 문제를 고치면서 다른 능력을 해치지 않는지 살펴봐야 한다.


원본: Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

토론: Hacker News