앨릭스 왕(Alex Wang)은 트랜스포머(Transformer)의 주요 층을 서로 다른 ‘기억 저장소’로 이해할 수 있다고 설명했다. 열쇠와 값으로 기억을 저장한 뒤, 필요한 값을 얼마나 정확히 꺼낼 수 있는지 따져보면 선형층에서 MLP, 셀프어텐션(self-attention)으로 이어지는 설계의 차이가 드러난다는 주장이다. 64차원 열쇠를 쓰는 실험에서는 저장 방식에 따라 기억 용량의 기준점이 약 64개에서 100만 개 이상으로 벌어진다. 다만 이 숫자는 실제 언어모델이 외운 사실의 개수가 아니라, 무작위 벡터를 한 층에서 복원하는 실험의 결과다.
핵심요약
- 왕은 각 층을 유사한 열쇠로 값을 찾는 연상 기억(비슷한 입력을 단서로 저장된 값을 꺼내는 방식)으로 보고, 복원할 때 다른 기억이 섞이는 정도를 비교 기준으로 삼았다.
- 외적(두 벡터를 곱해 행렬을 만드는 연산)으로 기억을 쌓는 선형 저장소는 64차원 열쇠에서 약 64개, 모든 기억을 함께 고려해 맞춘 선형 저장소는 약 128개까지 저장할 수 있다는 추정이 나왔다.
- MLP는 관련성이 낮은 열쇠의 기여를 비선형 함수로 줄이며, 제곱 ReLU를 쓴 실험에서는 같은 조건의 용량이 약 2,700개로 늘었다.
- 셀프어텐션은 문맥 속 토큰에서 열쇠와 값을 만들어 소프트맥스로 선택적으로 읽으며, 해당 실험에서는 약 120만 개의 기억까지 간섭을 억제했다.
- 토론에서는 무작위 열쇠와 값으로 계산한 용량을 실제 학습 데이터의 구조와 동일시해서는 안 된다는 지적이 나왔다.
기억을 얼마나 정확히 꺼내는가
왕이 출발점으로 삼은 것은 언어모델이 어떻게 그토록 많은 정보를 기억하느냐는 질문이다. 그는 기억 하나를 조회에 쓰는 열쇠와 꺼내고 싶은 값의 쌍으로 놓고, 입력이 열쇠와 같거나 비슷할 때 해당 값을 돌려주는 함수를 기억 저장소라고 부른다. 이런 방식은 연상 기억에 해당한다. 중요한 것은 기억을 몇 개 써넣을 수 있느냐보다, 나중에 원하는 것 하나를 얼마나 깨끗하게 찾아낼 수 있느냐다.
열쇠가 비슷한 다른 기억들도 조회 결과에 조금씩 끼어든다. 왕은 목표 값의 기여에 비해 이런 잡음이 얼마나 큰지를 간섭 대 신호 비율로 측정하고, 그 비율이 1에 이르는 지점을 ‘용량’으로 정한다. 따라서 글에 등장하는 64개나 120만 개는 보편적인 사실 저장 한도가 아니다. 정해진 조건에서 다른 기억의 간섭이 목표 신호만큼 커지는 지점을 비교한 수치다.
외적으로 쌓으면 왜 서로 섞일까
가장 단순한 저장소는 열쇠와 값의 외적을 가중치 행렬에 계속 더하는 선형층이다. 입력을 넣으면 행렬은 저장된 모든 열쇠와 입력의 유사도를 계산하고, 그 유사도에 따라 값들을 합쳐 돌려준다. 왕은 선형층의 가중치를 경사하강법으로 갱신하는 식도 같은 모양의 기억 추가로 읽을 수 있다고 설명한다. 기억을 쓰는 과정은 간단하지만, 읽을 때는 원하지 않는 값까지 결과에 섞인다.
열쇠가 모두 서로 직교한다면 이 간섭은 사라진다. 그러나 열쇠가 놓인 공간의 차원이 64라면 서로 직교하는 방향도 64개뿐이다. 왕은 길이를 1로 맞춘 무작위 열쇠와 비슷한 길이의 무작위 값을 가정해, 기억이 쌓일수록 작은 간섭들이 합쳐진다고 계산한다. 그 결과 외적 저장소는 64차원에서 약 64개를 저장했을 때 간섭이 목표 신호만큼 커지며, 그 전에도 조회 결과에는 이미 잡음이 들어 있다.
모든 기억을 함께 맞추는 선형층
외적 방식은 새 기억을 쓸 때 기존 열쇠들과의 충돌을 살피지 않는다. 왕은 가중치를 정할 때 모든 기억의 복원 오차를 한꺼번에 줄이는 선형 회귀 방식으로 이를 개선한다. 이 방식은 여러 열쇠가 공유하는 방향에 지나친 비중이 실리지 않도록 열쇠의 공분산을 보정한다. 단순히 기억을 더하는 대신, 이미 저장된 기억들이 서로 방해하지 않도록 가중치를 맞추는 셈이다.
열쇠가 선형 독립이고 기억 수가 차원 이하라면, 이 최적 선형 저장소는 각 기억을 정확하게 복원한다. 차원을 넘어서면 간섭이 생기지만, 무작위 열쇠와 값이라는 같은 조건에서 용량은 외적 방식의 두 배인 약 2배의 차원으로 늘어난다. 왕이 제시한 64차원 실험에서는 약 128개다. 다만 이 저장소도 유사도가 낮은 열쇠와 높은 열쇠를 같은 선형 규칙으로 처리하므로, 간섭을 더 줄이려면 읽는 규칙을 바꿔야 한다.
작은 유사도를 거르는 MLP
그다음 단계가 MLP(여러 층의 선형 변환과 비선형 함수를 잇는 신경망)다. 첫 번째 가중치 행렬의 행을 열쇠, 두 번째 행렬의 열을 값으로 보면, 두 행렬 사이의 활성화 함수가 어떤 기억을 읽을지 조절한다. 예를 들어 ReLU(음수는 0으로 만들고 양수는 남기는 함수)는 음의 유사도를 가진 열쇠를 걸러낸다. 제곱 ReLU는 0에 가까운 유사도를 한 번 더 약하게 만들어, 관련성이 낮은 기억의 간섭을 줄인다.
왕의 무작위 벡터 실험에서 64차원 외적 저장소의 용량은 약 64개이고, ReLU를 적용하면 약 128개다. 제곱 ReLU에서는 약 2,700개, 세제곱 ReLU에서는 약 3만 5,000개로 늘어난다. 스위글루(SwiGLU)를 변형해 열쇠를 공유하도록 한 경우에도 제곱 ReLU와 가까운 결과가 나온다. 왕은 실제 MLP에서는 여러 사실이 같은 가중치를 나눠 쓰고 출력도 여러 기억의 혼합일 수 있다고 덧붙여, 이 실험의 저장소를 학습된 모델의 사실 목록과 구별한다.
지수 함수가 만든 셀프어텐션
유사도를 거듭제곱하면 작은 유사도의 영향이 크게 줄어든다. 왕은 한 가지 차수를 고르는 대신 여러 차수의 항을 함께 담는 지수 함수를 적용하고, 각 열쇠의 점수를 전체 점수의 합으로 나누면 소프트맥스(점수를 합이 1인 가중치로 바꾸는 함수)가 된다고 설명한다. 이렇게 얻는 방식이 셀프어텐션이다. 분모로 나누는 과정은 기억 사이 가중치의 비율을 유지하면서 수치 계산도 안정적으로 만든다.
64차원 무작위 열쇠를 쓰고 지수 함수의 날카로움을 8로 둔 실험에서, 왕이 계산한 용량은 약 120만 개다. 같은 조건의 단순 선형 저장소와 비교하면 거의 2만 배에 해당한다. 다만 MLP의 열쇠와 값이 학습된 가중치에 들어 있는 것과 달리, 셀프어텐션은 현재 문맥의 토큰에서 열쇠와 값을 계산한다. 여기서 기억 수는 문맥에 담긴 토큰 수를 뜻하므로, 두 수치는 같은 종류의 장기 기억을 센 결과가 아니다.
문맥이 길어질수록 바뀌는 선택 강도
문맥에 열쇠와 값이 많아지면 낮은 유사도의 기억도 다시 누적된다. 이를 억제하려면 셀프어텐션이 높은 유사도에 더 큰 가중치를 주도록 점수의 배율을 높일 수 있다. 하지만 왕은 배율을 무작정 키우면 사실상 가장 비슷한 열쇠 하나만 고르게 되고, 다른 열쇠로 전달되는 학습 신호도 약해진다고 설명한다. 필요한 만큼만 선택을 날카롭게 만드는 것이 문제다.
왕은 문맥 길이의 로그에 맞춰 점수 배율을 조절하는 여러 규칙을 비교한다. 기준 길이를 기억 1,024개로 둔 실험에서는 큐원(Qwen)의 규칙과 다른 로그 비례 규칙이 기준 길이 이후 같은 결과를 보였고, 200만 개에서 간섭 대 신호 비율은 약 0.004였다. 야른(YaRN)의 더 빠른 배율 규칙에서는 약 0.0001까지 내려갔다. 서로 구별되는 열쇠를 둔 이 실험에서는 기억 수가 계속 늘어도 복원력을 유지할 수 있다는 것이 왕의 결론이다.
숫자가 가리키는 것과 가리키지 않는 것
왕은 이 용량 계산이 무작위 열쇠와 값을 한 층에서 조회할 때의 비교법이라고 정리한다. 실제 학습 데이터를 넣지 않았으므로, 모델의 가중치와 문맥에 어떤 정보가 어떤 형태로 표현되는지는 이 계산에 포함되지 않는다. 그는 별도 연구가 GPT 계열 모델의 암기를 매개변수당 약 3.6비트로, 언어모델의 사실 지식을 매개변수당 약 2비트로 추정했다는 결과도 소개한다. 두 연구는 이 글의 벡터 복원 실험과 측정 대상이 다르다.
따라서 이 글의 성과는 모델이 사실을 정확히 몇 개 외우는지 재는 데 있지 않다. 왕은 선형층에서 충돌을 줄이고, MLP에서 덜 닮은 열쇠를 억제하고, 셀프어텐션에서 문맥 속 기억을 선택적으로 읽는 흐름을 하나의 질문으로 연결한다. 서로 다른 층을 ‘무엇을 저장하는가’뿐 아니라 ‘다른 기억을 얼마나 섞지 않고 꺼내는가’로 비교하게 만든다는 점이 핵심이다.
커뮤니티 의견
글쓴이는 토론에 참여해 짧은 요약을 따로 올렸다고 알렸다. 답글에서는 글의 구성과 시각 자료가 이해를 돕는다는 호평이 나왔다. 수식으로 전개되는 설명에 독자가 진입할 수 있도록 만든 방식에 대한 반응이었다.
한 사용자는 글을 다 읽고도 제목처럼 자신이 트랜스포머를 발명할 수 있었을 것 같지는 않다고 말했다. 선형 저장소에서 셀프어텐션까지 단계별로 이어 보이는 설명과, 그 구조를 스스로 찾아내는 일은 다르다는 반응이다. 다른 댓글에서도 제목의 ‘당신’이 실제로 어느 독자를 가리키는지 묻는 의견이 나왔다.
무작위 단위 벡터를 열쇠로 두는 가정에 의문을 제기한 사용자도 있었다. 실제 데이터에는 압축할 수 있는 구조가 있고, 모델의 능력은 그 구조와 설계가 만나는 데서 나온다는 주장이다. 왕의 계산이 흥미롭더라도 실제 모델의 기억 용량으로 곧장 읽기 어렵다는 지적이다.
한 사용자는 미국 주와 주도의 짝을 저장하는 예를 들어 열쇠와 값이 실제 학습에서 어떻게 만들어지는지 물었다. 답글은 토큰을 벡터에 대응시키는 임베딩 행렬(토큰마다 벡터를 지정하는 행렬)이 필요하다고 설명했다. 추상적인 기억 쌍을 구체적인 학습 절차로 옮기면 독자가 추가로 풀어야 할 질문이 생긴다는 반응이었다.
수식이 달러 기호로 표시돼 설명에서 소외된 느낌을 받았다는 사용자도 있었다. 답글은 해당 표기가 수학 기호로 렌더링돼야 하며, 이를 불러오는 자바스크립트가 막혔을 가능성을 짚었다. 내용의 난도뿐 아니라 수식이 화면에 제대로 표시되는지도 글의 접근성에 영향을 준 사례다.
통신·전기공학의 관점에서 읽자는 의견도 나왔다. 한 사용자는 간섭 대 신호 비율과 용량이라는 개념이 통신 분야의 문제와 닮았다고 봤다. 답글에서는 글을 디지털 신호 처리의 용어로 바꿔 이해하는 데 도움이 됐다는 경험이 이어졌다.
언어모델에서 ‘값’이 정확히 무엇인지 묻는 사용자도 있었다. 답글은 어텐션층에서 질의·열쇠·값이 모두 학습된 행렬을 거쳐 입력 표현으로부터 계산된다고 설명했다. 단순한 열쇠·값 비유가 계산의 출발점은 되지만, 실제 층에서 벡터가 만들어지는 과정까지 보여주지는 않는다는 문제의식이다.
핵심통찰
왕의 설명은 트랜스포머의 각 층을 막연한 ‘기억’이 아니라, 쓰기와 조회 방식이 다른 저장소로 비교하게 만든다. 특히 용량이 커지는 과정을 기억을 더 많이 쌓는 일이 아니라, 원하는 값을 꺼낼 때 다른 값의 간섭을 줄이는 일로 설명한 점이 유용하다. 다만 실험의 큰 숫자를 실제 언어모델이 기억하는 사실의 개수로 읽어서는 안 된다. 앞으로 살펴볼 것은 학습된 열쇠와 값이 데이터의 구조를 어떻게 담는지, 그리고 긴 문맥에서 선택적인 조회가 실제로 얼마나 안정적으로 작동하는지다.
원본: You could have invented transformers from memory
토론: Hacker News