세레브라스는 3조 매개변수 모델을 어떻게 배치하나

세레브라스(Cerebras)는 44GB의 온칩 메모리를 가진 웨이퍼 59장에 약 3조 개의 매개변수를 가진 AI 모델을 나눠 싣는 배치 방식을 공개했다. 수테라바이트급 모델을 한 칩에 담는 대신, 모델의 층은 칩에 고정하고 연산 결과만 다음 칩으로 보내는 방식이다. 이 설명은 초대형 모델을 어떻게 빠르게 실행하는지뿐 아니라, 긴 입력과 동시 요청이 늘어날 때 무엇이 병목이 되는지도 보여준다. 다만 제시된 웨이퍼 수는 특정 메모리 설정에 따른 예시이며, 체감 성능을 판단하려면 실제 서비스 조건까지 함께 봐야 한다.

핵심요약

  • 세레브라스는 약 3조 매개변수 모델인 키미 K3(Kimi K3)를 예로 들어, 44GB 온칩 메모리를 갖춘 WSE-3T 웨이퍼 59장에 모델을 배치하는 계산을 설명했다.
  • 4비트 가중치를 가정하면 모델의 한 층은 약 16GB여서, 선형 어텐션 층은 웨이퍼당 두 개를 놓고 KV 캐시가 필요한 밀집 어텐션 층은 하나씩 놓는다.
  • 각 웨이퍼에 가중치를 고정한 채 활성값만 다음 웨이퍼로 보내는 파이프라인이 설계의 핵심이며, 세레브라스는 웨이퍼 간 전달에 약 2마이크로초가 걸린다고 설명했다.
  • 여러 요청을 동시에 흘려보내면 파이프라인을 채울 수 있지만, 동시 처리 가능한 요청 수는 밀집 어텐션 층의 KV 캐시에 남는 메모리로 제한된다.
  • 토론에서는 빠른 출력 속도에 대한 기대와 함께, 제공 모델의 품질·최신성, 4비트 양자화의 영향, 입력 처리 속도를 확인해야 한다는 지적이 나왔다.

44GB 칩에 수테라바이트 모델을 싣는 법

세레브라스가 답하려는 질문은 단순하다. WSE-3T 웨이퍼 한 장의 온칩 메모리는 44GB인데, 매개변수가 조 단위인 모델은 가중치를 저장하는 데만 수테라바이트가 필요하다. 회사는 모델 전체를 한 장에 밀어 넣는 대신 여러 웨이퍼에 층을 나누어 배치하고, 이들을 순서대로 연결한다고 설명했다. 이 방식으로 수조 개 매개변수 모델을 초당 1000~2000개 이상의 토큰 속도로 실행할 수 있다는 것이 세레브라스의 주장이다.

설명에 사용한 사례는 오픈소스 모델 키미 K3다. 세레브라스는 이 모델이 약 3조 개의 매개변수와 선형 어텐션 층 69개, 밀집 어텐션 층 24개로 구성된다고 소개했다. 코딩 작업을 평가하는 터미널벤치 2.1(Terminal-Bench 2.1)에서 키미 K3의 점수는 88.3%로, 비교 대상으로 든 GPT-5.6 Sol의 88.8%에 근접했다. 브라우즈컴프(BrowseComp)에서는 키미 K3가 91.2%, GPT-5.6 Sol이 90.4%였다. 세레브라스는 이를 키미 K3의 코딩·에이전트 작업 능력을 보여주는 지표로 제시했다.

다만 이 점수와 웨이퍼 배치 계산은 구분해 읽어야 한다. 배치 예시는 요청 하나의 평균 입력 크기를 25만6000토큰으로 가정하고, 가중치는 4비트 양자화(숫자를 더 적은 비트로 표현해 메모리 사용량을 줄이는 방식), KV 캐시는 8비트로 설정한다. 벤치마크 점수는 모델을 소개하는 자료이고, 뒤따르는 메모리 계산은 이 설정으로 모델을 올릴 때 필요한 자원을 따지는 과정이다.

층의 종류가 웨이퍼 수를 가른다

첫 단계는 가중치가 차지하는 공간을 계산하는 일이다. 3조 개의 매개변수를 각각 4비트로 저장하면 가중치의 원시 데이터는 약 1.5TB가 된다. 이를 전체 93개 층으로 나누면 층 하나당 약 16GB라는 배치상의 평균값이 나온다. 44GB 웨이퍼에 한 층을 올리고도 메모리가 남지만, 그 공간을 어떻게 쓸지는 어텐션 방식에 따라 달라진다.

밀집 어텐션 층은 활성 요청의 토큰마다 키와 값을 보관하는 KV 캐시(이전 토큰의 어텐션 계산 결과를 재사용하기 위한 저장 공간)가 필요하다. 세레브라스는 이런 층을 웨이퍼 한 장에 하나씩 놓고, 남는 온칩 SRAM을 캐시에 할당한다. 반면 선형 어텐션 층은 모든 토큰의 키와 값을 같은 방식으로 저장하지 않고 요청마다 작은 고정 크기의 상태를 유지한다. 입력 길이가 길어져도 그 상태를 위한 공간이 같은 비율로 늘지 않아, 예시에서는 16GB짜리 층 두 개를 한 웨이퍼에 배치한다.

따라서 선형 어텐션 층 69개에는 웨이퍼 35장이, 밀집 어텐션 층 24개에는 24장이 필요하다. 합계는 59장이다. 이 숫자의 요점은 매개변수 수만으로 필요한 칩을 결정할 수 없다는 데 있다. 같은 크기의 층이라도 요청을 처리하는 동안 어떤 상태를 저장해야 하는지에 따라 웨이퍼 한 장이 맡을 수 있는 층의 수가 달라진다.

가중치는 고정하고 결과만 옮긴다

층을 나눈 다음에는 연산 결과가 지나갈 길을 연결한다. 세레브라스는 컴파일러가 모델 층을 웨이퍼의 영역에 배치하고, 실행 시스템이 토큰의 이동 경로를 정한다고 설명했다. 웨이퍼 사이에서는 활성값(앞선 층에서 계산해 다음 층으로 넘기는 중간 결과)만 전달한다. 회사가 제시한 전달 방식은 이더넷을 통한 RDMA(원격 메모리에 직접 접근하는 통신 방식)이며, 웨이퍼 간 한 번 이동하는 데 약 2마이크로초가 걸린다고 한다.

이 설계가 성립하는 이유는 예시에서 층 하나의 가중치가 약 16GB로, 웨이퍼 한 장의 44GB 온칩 메모리에 들어가기 때문이다. 세레브라스는 대부분의 경우 가중치를 계속 옮기거나 한 층을 여러 웨이퍼에 쪼갤 필요가 없다고 설명한다. 첫 웨이퍼가 맡은 층을 계산해 활성값을 보내면 다음 웨이퍼가 자기 층을 처리하고, 이 과정이 마지막 웨이퍼까지 이어진다. 가중치는 제자리에 두고 작은 중간 결과를 흐르게 하는 것이 이 배치의 핵심이다.

이를 조립 라인에 비유할 수 있다. 각 웨이퍼는 자신에게 배정된 작업을 반복하고, 요청의 중간 결과가 순서대로 이동한다. 다만 웨이퍼 59장을 통과한다는 설명만으로 사용자가 느끼는 전체 지연 시간을 계산할 수는 없다. 각 층의 연산과 요청 간 스케줄링도 처리 과정에 포함되므로, 약 2마이크로초라는 수치는 웨이퍼 간 전달 한 번에 관한 설명으로 읽어야 한다.

한 요청이 지나갈 때, 다음 요청이 들어온다

파이프라인(작업을 여러 단계로 나누어 순차 처리하는 방식)은 한 요청만 넣으면 효율이 떨어진다. 첫 요청이 세 번째 단계에 있을 때 첫 번째 단계까지 기다리게 해서는 앞쪽 웨이퍼가 놀게 된다. 세레브라스는 이를 피하려고 서로 다른 요청을 계속 투입한다고 설명한다. 어느 순간 세 번째 단계가 요청 A를 처리하는 동안 두 번째 단계는 요청 B를, 첫 번째 단계는 요청 C를 처리할 수 있다.

회사 설명에서 층 하나가 단계 하나인 모습은 원리를 보여주는 단순화된 예다. 실제 운영에서는 단계를 더 잘게 나누고 그 수도 늘린다고 한다. 각 단계는 요청 하나만이 아니라 마이크로배치(한 번에 처리하는 작은 요청 묶음)를 맡을 수도 있다. 따라서 동시에 파이프라인에 들어가 있는 요청 수는 대략 단계 수와 마이크로배치 크기를 곱한 값으로 설명된다.

여기에는 응답 속도와 전체 처리량의 맞교환이 있다. 마이크로배치를 작게 하면 개별 요청을 더 빨리 처리할 수 있고, 크게 하면 시스템 전체가 처리하는 양을 늘릴 수 있다. 세레브라스가 강조하는 빠른 토큰 출력도 이런 운영 방식과 함께 봐야 한다. 웨이퍼를 연결하는 일만큼, 빈 단계를 줄이면서 각 요청이 오래 기다리지 않게 만드는 일이 중요하다.

동시 요청의 상한은 KV 캐시가 정한다

파이프라인에 계속 요청을 넣을 수 있다고 해서 동시 처리 수가 무한해지는 것은 아니다. 밀집 어텐션 층을 맡은 웨이퍼에는 진행 중인 요청마다 별도의 KV 캐시가 필요하다. 세레브라스의 예시에서는 웨이퍼의 44GB에서 밀집 어텐션 층의 가중치 약 16GB를 뺀 나머지가 그 캐시에 쓰일 수 있다. 이 남는 온칩 메모리가 동시에 유지할 수 있는 요청 수의 상한을 정한다.

계산 순서도 이에 맞춰져 있다. 먼저 25만6000토큰짜리 요청 하나가 각 밀집 어텐션 층에서 차지할 캐시 공간을 구하고, 사용 가능한 메모리를 그 크기로 나눈다. 선형 어텐션 층은 같은 방식으로 토큰마다 키와 값을 쌓지 않으므로, 세레브라스는 이 동시 요청 계산에서 밀집 어텐션 층의 KV 캐시를 중심에 놓는다. 설명은 산정 방법에 초점을 맞추며, 독자가 여러 서비스 설정에 그대로 적용할 단일 동시 요청 수를 내세우지는 않는다.

세레브라스는 이렇게 잡힌 동시 요청들이 한 GPU 배치처럼 서로 끝나기를 기다리는 것이 아니라 파이프라인을 계속 흐른다고 표현했다. 그러나 동시 요청 수나 배치 크기만으로 추론 시스템의 효율을 판단해서는 안 된다고도 덧붙였다. 회사가 제안한 비교 지표는 출력 생성 속도를 같게 맞춘 상태에서 소비 전력당 전체 토큰 처리량, 예컨대 메가와트당 초당 토큰 수다. 빠른 개별 응답과 많은 요청의 처리, 전력 사용량을 따로 떼어 비교하지 말라는 뜻이다.

3조 개를 넘어서도 같은 계산을 반복한다

세레브라스는 더 큰 모델에도 같은 접근을 적용할 수 있다고 설명한다. 먼저 가중치와 요청 상태에 필요한 메모리를 계산하고, 모델을 웨이퍼에 배분한 뒤 파이프라인으로 잇는다. 웨이퍼를 추가할 때마다 연산 능력과 온칩 메모리가 함께 늘어나므로, 웨이퍼 한 장의 용량을 넘는 모델도 담을 수 있다는 논리다. 규모 확장의 출발점은 모델 전체의 크기보다 각 단계에 무엇을 얼마나 남겨 둬야 하는지에 있다.

다만 사례가 보여주는 것은 특정 가정을 둔 배치 방식이다. 59장이라는 결과에는 키미 K3의 층 구성, 4비트 가중치, 8비트 KV 캐시, 요청 크기 가정이 모두 반영돼 있다. 세레브라스 역시 GPU 기반 시스템 대비 관측되는 추론 속도 향상이 워크로드와 구성, 시험 시점, 모델에 따라 달라질 수 있다고 밝혔다. 이 설명은 거대한 모델을 온칩 메모리에 나눠 배치하는 방법을 구체화하지만, 서비스 선택에 필요한 모든 성능 지표를 한 번에 대신하지는 않는다.

커뮤니티 의견

한 사용자는 세레브라스가 오래된 모델을 제공한다는 비판을 인정하면서도, 모델 제공에 6~9개월의 시차가 있다고 가정하면 더 나은 모델을 몇 달 안에 기대할 수 있다고 주장했다. 빠른 속도와 낮은 비용에 최신 모델과 크게 동떨어지지 않은 성능이 결합할 가능성에 주목한 것이다. 이에 대한 답글에서는 이미 세레브라스 하드웨어에서 빠른 모델을 제공하는 사례가 있지 않느냐는 질문이 나왔다.

다른 사용자는 자신이 접근할 수 있는 세레브라스 모델의 품질이 용도에 맞지 않는다고 했다. GPT OSS 120b의 출력은 매우 빨랐지만 답이 자주 틀려, 토큰 생성 속도가 약 다섯 배 낮더라도 다른 경로를 이용한다고 설명했다. 답글에서는 세레브라스 하드웨어에서 실행되는 다른 모델을 거론하는 한편, 비슷한 속도에서 비용과 성능을 비교하면 세레브라스를 택할 이유가 줄었다는 경험담도 나왔다. 이 논쟁의 초점은 칩의 최고 속도보다 이용자가 실제로 고를 수 있는 모델이다.

칩 내부 구조를 궁금해하는 의견도 있었다. 한 사용자는 세레브라스의 코어가 2차원 격자로 놓인다는 점을 들어, 데이터가 꼭 좌우로만 흐르는지, 다른 연결 형태가 더 나을 수는 없는지 물었다. 답글은 2차원 격자라면 배치·시퀀스·은닉 차원 등 텐서의 여러 축을 코어에 나누기 쉽고, 이웃에서 데이터를 받아 계산한 뒤 보내는 식으로 코어별 작업을 단순하게 구성할 수 있다고 설명했다.

웨이퍼 59장이라는 숫자에 놀란 사용자도 있었다. 이 규모가 구조상의 문제처럼 보인다는 반응이었지만, 동시에 높은 초당 토큰 수를 얻고 많은 에이전트를 한꺼번에 실행할 수 있다면 납득할 여지가 있다고 했다. 이어 다른 사용자는 모델의 벤치마크 점수를 소개하면서 배치 계산에는 4비트 양자화를 적용한 점을 짚었다. 그 답글에서는 4비트 설정이 흔하며 성능 차이가 작을 수도 있다는 반론이 나와, 메모리 절약과 모델 품질을 함께 확인해야 한다는 쟁점을 드러냈다.

GPU 배치와 다르다는 세레브라스의 표현을 따져 묻는 의견도 나왔다. 한 사용자는 요청을 계속 흘려보내는 방식이 GPU 하드웨어에서는 불가능한 것인지, 아니면 이를 구현할 소프트웨어의 문제인지 질문했다. 답글은 세레브라스가 가중치를 공간적으로 배치하고 활성값을 이동시키는 파이프라인 병렬성을 강조하는 반면, GPU 추론은 주로 다른 형태의 병렬성을 쓴다고 설명했다. 두 방식의 차이를 단순한 동시 요청 수만으로 비교하기 어렵다는 취지다.

사람이 느끼는 사용 경험을 비교해 달라는 요청도 있었다. 한 사용자는 벤치마크의 절대적인 능력만으로 서비스를 고르지 않는다며, 실제 이용에서 어떤 차이가 나는지 궁금해했다. 뒤이어 다른 사용자는 세레브라스가 출력 토큰을 만드는 디코드(decode) 단계의 통신은 설명했지만, 입력 문맥을 먼저 처리하는 프리필(prefill)을 그 연결 방식으로 어떻게 빠르게 수행하는지는 다루지 않았다고 지적했다. 이미 충분히 똑똑한 모델을 쓸 수 있는 상황에서는 속도가 더 중요하다는 의견도 있었지만, 에이전트가 테스트와 빌드에 쓰는 시간까지 토큰 생성 속도로 줄일 수는 없다는 단서가 붙었다.

마지막으로 KV 캐시를 어디에 보관할지도 질문으로 이어졌다. 한 사용자는 새 요청이 들어올 때 기존 문맥의 캐시를 저장용 서버에서 가져와야 한다면, 많은 활성 요청을 위해 상당한 메모리가 필요하지 않겠느냐고 물었다. 답글은 캐시를 보관하는 동시에 어텐션 연산도 수행하는 서버를 상정하며, 그렇게 하면 캐시 전체를 서버 사이에 계속 옮기지 않고 요청과 응답만 주고받을 수 있다고 설명했다. 이후에도 제공 모델이 낡았다는 비판이 이어져, 하드웨어 설계와 별개로 서비스에서 무엇을 쓸 수 있는지가 반복된 관심사임을 보여줬다.

핵심통찰

세레브라스의 설명은 초대형 모델 추론의 문제를 ‘가중치를 어디에 둘 것인가’에서 ‘고정된 가중치 사이로 요청을 어떻게 흘릴 것인가’로 옮긴다. 키미 K3 사례에서는 층별 배치와 KV 캐시 공간이 웨이퍼 수와 동시 요청의 한계를 구체적으로 결정한다. 그러나 사용자가 선택하는 것은 파이프라인 자체가 아니라 모델의 답과 응답 시간이다. 앞으로는 실제 제공 모델을 기준으로 긴 입력의 프리필 속도, 양자화된 모델의 품질, 동시 요청이 많을 때의 지연과 전력당 처리량을 함께 비교해야 이 설계의 강점이 드러난다.


원본: How Cerebras Deploys Trillion-Parameter AI Models

토론: Hacker News