굿파이어(Goodfire)의 닉 카마라타(Nick Cammarata)는 신경망의 뉴런이 여러 무관한 개념을 마구 뒤섞는다는 오래된 해석이 잘못됐다고 주장했다. 고양이와 자동차에 함께 반응하던 유명한 뉴런도 두 대상을 억지로 담은 것이 아니라 공통된 V자 형태를 감지한다는 것이다. 그는 이미지 모델의 학습 과정과 언어 모델의 뉴런을 다시 살핀 결과, 모델을 별도로 ‘풀어헤치기’보다 원래의 뉴런과 회로를 직접 조사하는 편이 유망하다고 본다. AI 내부를 이해하기 어렵다고 여겨 온 근거 자체를 재검토한다는 점에서 주목할 만하다.
핵심요약
- 카마라타는 초기 모델에서 관찰된 뉴런의 다의성 상당수가 무관한 개념의 중첩이 아니라 도구의 한계와 학습 과정에서 생긴 일반화로 설명된다고 주장한다.
- 고양이 얼굴과 자동차 앞부분에 반응하던 인셉션V1 뉴런은 공통된 V자 형태에 반응하며, 주변 회로까지 살펴야 역할이 드러난다는 것이 그의 해석이다.
- 같은 크기와 학습 데이터를 사용해 구조를 개선한 이미지 모델에서는 마지막 층 뉴런의 99~100%가 쉽게 해석됐으며, 이는 모델 설계가 관찰 가능성에도 영향을 준다는 뜻이다.
- 큐원3-32B의 예비 조사에서 저자는 뉴런의 양극 가운데 약 90%에 주된 역할 하나가 있다고 추정했지만, 이 비율은 판정 기준에 따라 달라진다고 밝혔다.
- 이 연구는 모델의 원래 뉴런을 직접 살필 근거를 제시하지만, 내부를 읽을 수 있다는 사실이 곧 원하는 행동을 보장하는지는 별개의 문제로 남는다.
얽힌 뉴런을 풀어야 한다는 통념
카마라타가 다시 묻는 것은 기계적 해석 가능성(뉴런과 회로를 추적해 모델의 작동 방식을 이해하는 연구)의 출발점이다. 한 뉴런이 서로 무관해 보이는 여러 대상에 반응하는 현상은 다의성으로 불려 왔다. 그동안 유력했던 설명은 중첩, 즉 뉴런이 부족해지면 모델이 서로 관계없는 개념을 같은 공간에 겹쳐 담는다는 생각이었다. 이 설명이 맞다면 개별 뉴런을 들여다봐도 모델이 왜 그런 판단을 했는지 알기 어렵다.
그래서 연구자들은 희소 오토인코더(모델 내부의 반응을 더 작은 특징 단위로 재구성하는 별도 모델) 등을 학습시켜 얽힌 표현을 분해해 왔다. 카마라타는 그보다 먼저 원래 모델의 뉴런과 연결 관계를 조사할 필요가 있다고 말한다. 그의 핵심 주장은 뉴런이 겉으로 복잡해 보이는 이유와 실제로 무관한 개념을 겹쳐 담는 이유를 구별해야 한다는 것이다. 설명을 찾지 못한 상태를 곧바로 신경망 자체의 혼란으로 해석해서는 안 된다는 문제 제기다.
고양이와 자동차의 공통점은 V자
이 주장에 가장 먼저 등장하는 사례는 이미지 모델 인셉션V1(InceptionV1)의 유명한 뉴런이다. 이 뉴런은 고양이 얼굴과 자동차 앞부분 모두에 강하게 반응해, 서로 관계없는 개념이 한곳에 담겼다는 근거로 쓰였다. 카마라타는 두 대상을 나란히 놓고 보니 공통점이 V자 형태였다고 설명한다. 회로의 연결을 따라가자 V자로 벌어진 불꽃과 물줄기, 여우 얼굴도 같은 해석에 들어맞았다.
반대 방향의 반응도 단서가 됐다. 해당 뉴런의 음의 방향에서는 V의 뾰족한 형태와 대비되는 둥근 O형이 나타났다는 것이다. 카마라타는 뉴런을 ‘고양이 또는 자동차’라는 명사 목록으로 부르기보다, 다음 단계의 뉴런이 활용할 형태적 구분을 만드는 장치로 봐야 한다고 말한다. 무엇에 반응하는지만이 아니라 무엇을 걸러 내고 어디로 신호를 보내는지를 함께 봐야 역할이 선명해진다는 뜻이다.
과거 자동차의 특징이 개와 관련된 여러 뉴런으로 퍼지는 듯 보였던 회로도 그는 다시 살폈다. 당시에는 자동차 정보가 무관한 뉴런 조합에 숨겨졌다고 해석했지만, 이번에는 자동차와 개의 자세에서 공통된 패턴을 처리하는 회로로 읽었다. 인셉션V1에는 자동차와 개를 비롯한 여러 대상의 자세를 함께 다루는 뉴런이 100개 넘게 있다는 설명이다. 그 조합에서 자동차 정보를 다시 꺼내 쓰는 후속 회로는 발견하지 못했다고 그는 밝혔다.
같은 모델을 다시 보니 달라진 마지막 층
카마라타는 관찰 도구도 초기 판단을 흐렸다고 지적한다. 뉴런이 선호하는 이미지를 합성하는 특징 시각화는 가장 강한 반응을 찾는 과정에서 자연스러운 이미지의 경로를 벗어날 수 있다. 앞서 자동차와 개가 뒤섞인 것처럼 보인 회로에서도 합성 이미지가 개 쪽으로 치우쳤고, 실제 이미지의 반응을 반영하도록 조정하자 자동차의 경로가 더 잘 드러났다는 것이다. 같은 뉴런도 관찰 방식에 따라 전혀 다른 이야기를 들려줄 수 있다.
모델 구조 역시 영향을 줬다. 초기 연구에서 인셉션V1의 마지막 층은 해석 가능한 뉴런이 거의 없는 곳으로 여겨졌다. 카마라타는 당시 도구로는 그 비율을 약 5%로 봤지만, 개선된 시각화와 회로 추적 도구를 쓰면 같은 모델에서 약 50%까지 이해할 수 있다고 설명한다. 같은 구조를 현대적인 학습 설정으로 다시 훈련하면 약 70%, 크기와 학습 데이터를 유지하면서 구조를 개선한 컨브넥스트(ConvNeXt)에서는 약 99%로 올라갔다.
이 차이는 ‘더 큰 모델이어서 읽기 쉬워졌다’는 설명과 구별된다. 그는 잔차 연결과 층 정규화처럼 깊은 모델의 학습을 돕기 위해 도입된 설계가 뉴런의 역할도 더 뚜렷하게 만들었다고 본다. 같은 데이터와 비슷한 규모에서도 학습이 제대로 이뤄지는지에 따라 마지막 층의 모습이 달라졌다는 것이다. 초기 모델의 난해함을 모든 신경망의 필연적 성질로 받아들이기 어렵다는 주장은 여기서 나온다.
무관한 개념의 중첩보다 가지 치는 일반화
그렇다면 구조를 개선하기 전, 복잡하게 보이던 뉴런에서는 무슨 일이 일어났을까. 카마라타는 이를 ‘재귀적 일반화’라고 부른다. 한 뉴런이 처음에는 노란 꽃에 반응하다가 같은 사진에 등장한 자연물이나 개로 반응 범위를 넓히고, 다시 그 갈래에서 다른 대상까지 뻗어 나가는 식이다. 출발점과 끝만 보면 엉뚱한 조합이지만 학습 중간을 따라가면 인접한 변화가 이어진다는 설명이다.
언어 모델에서도 비슷한 사례를 제시했다. ‘iy’라는 문자 조합에 반응하던 뉴런이 ‘diy’를 거쳐, 해당 철자가 없는 ‘do it yourself’에도 반응하도록 확장됐다는 것이다. 각 단계에는 연결 고리가 있지만 최종 반응만 나열하면 서로 다른 역할이 한 뉴런에 뒤섞인 것처럼 보인다. 카마라타는 무관한 것을 충돌 없이 포개는 중첩과, 관련된 것을 따라 범위를 넓히는 일반화는 학습 원리에 대한 서로 다른 설명이라고 강조한다.
그는 중첩을 주장하려면 단순히 뉴런이 이해되지 않는다는 것보다 강한 증거가 필요하다고 본다. 설명이 막히는 이유는 잘못된 도구, 부족한 데이터, 학습이 잘 안 된 구조, 아직 추적하지 못한 일반화일 수도 있다. 반면 재귀적 일반화는 학습 시점별 모델 상태를 비교해 뉴런의 반응이 어떻게 자라는지 살필 수 있다. 카마라타가 중첩을 첫 가정이 아니라 다른 가능성을 점검한 뒤의 가정으로 내려놓자고 제안하는 이유다.
뉴런을 줄이고 사전으로 다시 찾아본 결과
그는 모델의 공간을 인위적으로 좁혀도 뉴런이 무관한 개념을 겹쳐 담는지 시험했다. 인셉션V1의 한 층을 480개 채널에서 10개로 줄이고 우회 경로 없이 다시 학습시키자, 특정 곡선을 가려 내던 뉴런 여러 개가 ‘곡선과 고리’를 넓게 다루는 뉴런으로 바뀌었다. 각 뉴런이 맡는 범위는 거칠어졌지만, 그는 무관한 특징이 촘촘히 포개진 모습은 보지 못했다고 설명한다. 작은 컨브넥스트와 마지막 층을 압축한 모델에서도 비슷한 확대가 나타났다는 것이다.
숨은 특징이 정말 있다면 별도의 분해 모델이 이를 찾아낼 수 있는지도 살폈다. 압축한 층에 학습시킨 희소 오토인코더는 원래 층의 가느다란 곡선 감지 뉴런을 온전히 복원하지 못했다. 다른 이미지 모델의 마지막 층을 분석한 실험에서는 오토인코더 활동의 88%가 단일 뉴런과 거의 같은 방향이었다고 밝혔다. 카마라타는 오토인코더가 이미지에 무엇이 있는지 묻는 데는 도움이 되지만, 조사한 모델에서 원래 뉴런에 없는 근본적인 구성 요소를 찾지는 못했다고 평가한다.
드문 사례와 약한 뉴런 반응도 확인했다. 우산 사진을 벌로 잘못 분류하도록 한 이미지 모델을 추가 학습시키자, 우산 관련 뉴런의 반응이 줄고 기존 벌 관련 뉴런이 활성화됐으며 변화는 거의 모두 마지막 세 블록에서 일어났다고 한다. 또 한 실험에서 약한 반응의 75%를 제거했을 때 정확도는 72%에서 71%로 내려간 반면, 강한 반응의 7%를 제거하자 4%가 됐다. 그는 약한 반응이 불필요하다는 뜻이 아니라, 조사한 모델에서는 가까운 후보 사이의 미세한 구분에 더 많이 기여한다고 해석한다.
언어 모델의 쉼표에서 찾아낸 단서
이미지보다 규모가 크고 반응을 시각화하기 어려운 언어 모델에서도 카마라타는 직접 조사 방식을 적용했다. 큐원3-32B(Qwen3-32B)의 예비 조사에서 그는 뉴런의 양극 가운데 약 90%는 주된 역할 하나와 그에 관련된 작은 갈래가 있고, 약 7%는 서로 관련된 역할 둘을 맡는다고 추정했다. 아직 이해하지 못한 비율은 약 2~4%로 제시했다. 다만 약한 반응을 어디까지 포함하고 ‘하나의 역할’을 어떻게 정하느냐에 따라 숫자가 달라진다고 덧붙였다.
언어 뉴런의 역할은 반응한 글자만으로 드러나지 않는다. 한 뉴런이 쉼표에 자주 반응해 여러 일을 하는 것처럼 보였지만, 앞선 문맥을 읽자 미국 콜로라도와 관련된 정보를 따라가고 있었다는 사례가 나온다. 카마라타는 모델이 문장의 의미를 모아 두는 지점으로 문장부호를 활용할 수 있다고 설명한다. 반응 위치뿐 아니라 앞 문장, 연결된 뉴런, 뉴런의 반응을 높였을 때 생성되는 내용까지 대조해야 하는 이유다.
그는 이미 이해한 뉴런이 늘수록 남은 뉴런을 설명하기 쉬워진다고 본다. 연결된 회로와 주변 뉴런이 새 해석을 검증할 단서가 되고, 설명되지 않는 부분은 관찰 도구의 결함을 드러내기도 한다는 것이다. 다만 수조 개 매개변수까지 살펴본 언어 모델을 모두 해독했다는 주장은 아니다. 카마라타의 제안은 신경망을 분해한 대체 모델만 연구하지 말고, 원래 모델을 대상으로 한 관찰과 실험을 대규모로 이어 가자는 데 있다.
커뮤니티 의견
한 사용자는 이 글이 AI 내부를 이해하려는 연구에 낙관적인 전환점이 될 수 있다고 평가했다. 초기 도구로는 읽기 어려웠던 뉴런을 더 나은 도구와 자동화된 조사로 다시 볼 수 있게 됐다는 점에 주목했다. 다만 이런 결과가 AI의 행동을 원하는 방향으로 맞추는 문제까지 해결한다는 기대에는, 주장이 맞는지 더 확인해야 한다는 단서를 달았다.
주장이 관찰 결과보다 앞서간다는 반론도 나왔다. 특징이 점차 복잡해지는 현상이나 초기 학습 구조가 나중의 학습에 영향을 준다는 사실은 기존에도 알려져 있었고, 이것만으로 한정된 매개변수에 여러 정보가 담길 가능성을 배제할 수 없다는 것이다. 이 사용자는 신경망의 압축된 표현에 관한 다른 연구도 고려해야 하며, 기계적 해석이 곧 해결될 듯 말하기는 이르다고 봤다.
다른 사용자는 ‘고양이와 자동차 뉴런’을 ‘V자 뉴런’으로 바꾸어 부르는 일이 무엇을 해결하는지 물었다. 겉으로 다른 대상을 하나의 공통 특징으로 묶어도, 그 특징이 다른 회로와 결합해 만드는 복잡한 작동 방식은 여전히 이해해야 한다는 지적이다. 뉴런 하나에 붙인 설명이 간결해지는 문제와 모델 전체의 계산을 파악하는 문제를 구분하자는 관점이다.
한 사용자는 이 작업을 AI 내부의 지도를 그리는 시도에 비유했다. 뉴런과 경로를 충분히 파악하면 실패를 설명하거나 특정 경로를 바꿨을 때 출력을 예측하는 데 도움이 될 수 있다고 봤다. 그러나 내부 표현이 질서정연하더라도 우려되는 행동을 막을 방법이 저절로 생기는 것은 아니라며, 해석과 행동 제어 사이의 간격을 짚었다.
앤트로픽(Anthropic)의 초기 대규모 희소 오토인코더 연구 때를 떠올린다는 의견도 있었다. 모델을 이해할 핵심 방법을 찾았고 이제 규모만 키우면 된다는 열기가 당시와 닮았다는 것이다. 이번 글이 제시한 조사 결과와 앞으로 연구 전체가 그 방법으로 풀릴 것이라는 기대를 나눠 보자는 경계다.
공개 가중치의 중요성을 강조한 사용자도 있었다. 모델의 자율성을 높이려는 기업이라면 외부에서도 그 모델을 충분히 조사할 수단을 제공해야 한다는 주장이다. 이 의견은 어떤 해석 방법이 우수한지보다, 누가 실제 모델의 뉴런과 회로를 검증할 수 있는지에 초점을 맞췄다.
또 다른 사용자는 뉴런을 의미가 또렷한 ‘개념’이라기보다 특정 기계에서 우연한 학습 과정을 거쳐 맡은 역할이 있는 부품에 가깝다고 봤다. 특정 이미지에 강하게 반응하거나 제거했을 때 출력이 달라진다고 해서, 그 뉴런 자체가 독립된 개념이라는 뜻은 아니라는 것이다. 읽을 수 있는 부품과 의미를 이해한 모델은 같지 않다는 지적이다.
핵심통찰
카마라타의 연구가 바꾸는 것은 뉴런이 이해되지 않을 때의 첫 질문이다. 무관한 개념이 숨겨졌다고 가정하기보다 시각화 도구, 학습 구조, 문맥, 뉴런의 연결을 차례로 확인하자는 제안은 원래 모델을 직접 연구할 여지를 넓힌다. 특히 같은 규모의 모델에서도 구조에 따라 마지막 층의 해석 가능성이 크게 달라졌다는 결과는 눈여겨볼 만하다. 앞으로는 다른 모델에서도 이 조사 과정을 재현할 수 있는지, 읽어 낸 회로가 실제 행동의 예측과 통제에 얼마나 도움이 되는지를 지켜봐야 한다.
원본: Neural Networks Are Already Clean
토론: Hacker News