맥 스튜디오 4대로 8160억 모델 실행한 애플

애플(Apple)은 맥 스튜디오(Mac Studio) 4대를 연결해 8160억 매개변수 모델 뮤즈 스파크 오픈(Muse Spark Open)을 로컬에서 초당 36토큰 넘게 생성했다고 밝혔다. 핵심은 큰 모델을 맥에 올렸다는 사실만이 아니다. 애플은 MLX의 연산 지원과 썬더볼트(Thunderbolt) 기반 기기 간 통신을 결합해, 한 대에 들어가지 않는 모델을 나눠 실행하는 방법까지 공개했다. 다만 ‘책상 위 AI’라는 표현을 실제 사용 환경으로 옮기려면 속도뿐 아니라 긴 문맥에서의 대기 시간과 여러 대를 마련하는 비용도 함께 봐야 한다.

핵심요약

  • 애플은 MLX와 맥 스튜디오 4대를 사용해 뮤즈 스파크 오픈의 초당 36토큰 이상 생성 속도를 제시하며 초대형 모델의 로컬 실행 가능성을 보여줬다.
  • M5 울트라(M5 Ultra)는 단일 맥 스튜디오에서 이전 세대 M3 울트라(M3 Ultra)보다 첫 토큰 대기 시간을 최대 4.6배 단축했지만, 이 수치는 뮤즈가 아닌 단일 기기에서 실행한 모델들의 비교 결과다.
  • 뮤즈 스파크 오픈은 4비트 형식에서도 모델에 약 493GB가 필요해, 추론 중간 계산까지 고려하면 메모리 512GB인 맥 스튜디오 한 대에 담기지 않는다.
  • MLX는 모델의 층을 기기별로 나누는 방식과 각 층의 연산을 나누는 방식을 지원하며, 썬더볼트 기반 RDMA로 기기 간 통신을 처리한다.
  • Hacker News에서는 로컬 실행의 프라이버시 가치에 기대를 거는 한편, 4대 구성의 비용과 모델별로 다른 정밀도를 사용한 성능 비교를 따져봐야 한다는 의견이 나왔다.

세 모델로 살펴본 MLX 추론

애플은 자체 기기에서 AI 모델을 실행하고 실험하는 오픈소스 배열 프레임워크 MLX의 최신 버전을 소개하며, 크기가 다른 세 모델을 맥 스튜디오에서 측정했다. 대상은 매개변수 270억 개인 큐원 3.8(Qwen 3.8), 1280억 개인 미스트랄 미디엄 3.5(Mistral Medium 3.5), 8160억 개인 뮤즈 스파크 오픈이다. 측정 항목은 요청 뒤 첫 출력이 나오기까지 걸리는 시간인 첫 토큰 대기 시간(TTFT), 이후의 초당 토큰 생성량, 최대 전력 사용량이다. 에이전트형 코딩 도구처럼 긴 입력을 다루는 용도를 고려해 문맥 길이 8192토큰과 6만5536토큰을 모두 살폈다.

세 모델의 구조와 측정 정밀도는 같지 않다. 뮤즈는 추론할 때 일부 전문가만 활성화하는 전문가 혼합 모델(MoE)로, 4비트 NVFP4 형식에서 측정했다. 반면 모든 매개변수를 추론에 사용하는 두 밀집 모델 가운데 미스트랄은 FP8, 큐원은 BF16이라는 각각의 기본 부동소수점 정밀도로 실행했다. 따라서 이 결과를 읽을 때는 모델 이름 옆의 매개변수 수만 볼 것이 아니라, 실제로 활성화되는 연산과 메모리에 올린 형식도 함께 봐야 한다.

한 대에서는 첫 응답과 생성 속도가 달랐다

메모리 512GB인 맥 스튜디오 한 대에는 큐원과 미스트랄이 들어간다. 애플이 제시한 6만5536토큰 문맥 설정에서 두 모델의 메모리 사용량은 각각 최대 68GB와 158GB였다. 애플은 이 두 모델을 M3 울트라와 M5 울트라에서 비교했고, M5 울트라의 첫 토큰 대기 시간이 최대 4.6배 짧았다고 밝혔다. 이 차이는 GPU의 신경망 가속기가 행렬 곱셈 연산을 지원하는 점과 연결된다.

첫 토큰 이후의 생성 속도는 다른 자원에 더 크게 좌우된다. 애플은 이 단계가 메모리 대역폭의 영향을 받으며, M5 울트라의 통합 메모리 대역폭은 초당 1.2TB로 M3 울트라의 초당 819GB보다 높다고 설명했다. 측정한 초당 토큰 생성량도 M5 울트라에서 1.6배 빨랐다. 한편 최대 전력 사용량은 M3 울트라 맥 스튜디오가 약 200W, M5 울트라가 약 300W로 제시됐는데, 이는 각각 한 대의 기기를 측정한 값이다.

493GB로 줄여도 한 대에 못 담는 모델

뮤즈 스파크 오픈은 BF16 형식에서 모델 매개변수만 저장하는 데 1.6TB가 넘는 메모리가 필요하다. 4비트 NVFP4 형식으로 줄이면 모델 자체의 메모리 사용량은 약 493GB까지 내려간다. 그러나 추론 중간 계산에 쓸 공간까지 더하면 512GB 맥 스튜디오 한 대로는 실행할 수 없다. 애플이 여러 대의 맥을 연결한 이유는 단순히 출력을 빠르게 만들기 위해서가 아니라, 먼저 모델을 메모리에 나눠 담기 위해서다.

이 지점에서 ‘로컬’은 기기 한 대만 쓴다는 뜻과 구별된다. 애플이 공개한 구성은 외부 모델 서비스에 요청을 보내는 대신, 서로 연결된 맥 스튜디오들이 연산을 맡는다. 한 대로 처리 가능한 큐원·미스트랄의 결과와 여러 대가 필요한 뮤즈의 결과를 같은 조건의 속도 경쟁으로 읽기 어려운 이유도 여기에 있다. 모델 크기, 저장 형식, 연결한 기기 수가 모두 달라지기 때문이다.

모델의 앞뒤를 나누는 파이프라인

가장 단순한 분산 방식은 모델의 층을 앞뒤로 나누는 파이프라인 병렬화다. 첫 맥 스튜디오가 앞부분의 층을 계산해 출력을 보내면, 두 번째 기기가 나머지 층을 처리한다. 층 자체는 여전히 순서대로 실행되므로, 애플이 측정한 토큰 생성 속도는 대체로 한 대에서 실행할 때와 비슷했다. 대신 기기 사이에는 두 부분의 경계에서 나온 중간 결과만 보내면 돼 통신 부담이 작다.

긴 입력을 처음 처리하는 단계에서는 다른 결과가 나왔다. MLX는 큰 문맥을 작은 덩어리로 나누며, 애플은 이 크기를 8192토큰으로 설정했다. 두 번째 기기가 앞선 덩어리의 뒷부분 층을 계산하는 동안 첫 번째 기기는 다음 덩어리의 앞부분을 계산할 수 있다. 이 겹침 덕분에 6만5536토큰 문맥에서 파이프라인 방식의 첫 토큰 대기 시간은 한 대를 쓸 때보다 최대 약 1.8배 개선됐다.

썬더볼트로 각 층의 연산까지 분담

더 빠른 연산을 위해 애플은 모델의 층마다 작업을 여러 기기에 나누는 텐서 병렬화도 사용했다. 파이프라인 방식이 모델의 깊이를 나눈다면, 텐서 병렬화는 각 층의 폭을 나눠 기기들이 같은 층의 연산을 병렬로 수행한다. 다만 입력 토큰과 층마다 데이터를 보내고 결과를 모아야 하므로 구현과 통신이 더 복잡하다. 통신이 느리면 나눠 계산해서 얻는 이득이 줄어드는 구조다.

이를 위해 애플은 썬더볼트 5 위에서 작동하는 RDMA(원격 직접 메모리 접근)와 MLX의 분산 통신 기능인 자클(jaccl)을 사용했다. RDMA 드라이버는 macOS 26.2에 도입됐고, MLX는 0.30.1 버전부터 이를 활용한다. 실험 구성에서는 기기 두 대 사이를 썬더볼트 케이블 두 개로 연결했으며, 여러 대를 쓸 때도 기기 쌍마다 두 케이블로 직접 연결했다. MLX의 실행 도우미 mlx.launch를 사용하면 같은 벤치마크 명령에서 분산 실행 방식을 바꿀 수 있다.

네 대로 늘렸을 때 드러난 통신의 값

텐서 병렬화가 언제나 더 빠른 것은 아니다. 애플은 밀집 모델이 여러 기기로 확장할 때 더 좋은 결과를 보였다고 설명했다. 뮤즈 스파크 오픈은 전문가들의 출력을 별도로 정규화하는 과정에서 통신이 추가돼, 문맥이 6만5536토큰일 때 두 대의 텐서 병렬 구성이 두 대의 파이프라인 구성보다 첫 입력 처리에서 뒤졌다. 반면 기기를 네 대로 늘리면 병렬 연산의 이점이 커졌고, 토큰 생성 단계에서는 긴 문맥에서도 텐서 병렬화의 속도 향상이 유지됐다.

케이블 수 역시 측정값에 영향을 줬다. M5 울트라 맥 스튜디오 네 대에서 뮤즈를 6만5536토큰 문맥으로 실행할 때, 연결마다 케이블 한 개를 쓰면 첫 토큰까지 약 50.5초가 걸렸다. 케이블을 두 개로 늘린 구성에서는 이 시간이 40.6초로 줄었다. 애플이 앞세운 초당 36토큰 이상의 생성 속도와 별개로, 긴 입력을 넣는 작업에서는 출력을 기다리는 시간과 기기 간 연결 구성을 함께 살펴야 한다는 수치다.

벤치마크 다음은 로컬 에이전트 서버

애플은 측정 결과를 개발 도구에서 쓰는 방법도 제시했다. MLX의 mlx_lm.server를 mlx.launch로 여러 맥 스튜디오에 걸쳐 실행하면, 뮤즈 스파크 오픈을 로컬 서버로 제공할 수 있다. 예시에서는 서버를 8080번 포트에서 띄운 뒤 오픈코드(OpenCode)가 로컬 주소의 API를 사용하도록 설정했다. 모델 실행과 코딩 도구의 연결을 한 흐름으로 보여준 셈이다.

애플이 강조하는 것은 단일 기능보다 조합이다. M5 울트라의 신경망 가속기는 첫 입력 처리에, 통합 메모리는 큰 모델을 담는 데, 썬더볼트 RDMA는 기기 사이의 연산 분담에 각각 쓰인다. 다만 뮤즈처럼 한 대에 들어가지 않는 모델은 여러 기기의 메모리와 연결이 갖춰져야 이 구성을 재현할 수 있다. 로컬 에이전트의 실용성을 판단할 때도 서버를 띄울 수 있는지에 더해, 사용하는 문맥 길이에서 첫 응답과 이후 생성이 얼마나 걸리는지를 나눠 봐야 한다.

커뮤니티 의견

한 사용자는 다른 회사가 공개 가중치 모델 개발에 큰돈을 쓰는 동안 애플은 이를 실행할 하드웨어를 판다고 봤다. 답글에서는 애플이 모델 개발보다 기기 판매에 집중하는 전략이라는 해석이 나왔다. 프라이버시를 중시하는 개인과 조직에는 자체 장비의 가치가 크다는 의견도 이어졌다.

모델별 측정 조건을 문제 삼는 반론도 나왔다. 한 사용자는 뮤즈는 4비트로, 큐원은 BF16으로 측정한 점을 들어 이 결과만으로 사용자가 고를 모델의 성능을 비교하기 어렵다고 지적했다. 다른 사용자는 정밀도가 표에 공개돼 있으며, 높은 정밀도에서도 새 하드웨어의 속도 향상을 확인한다는 목적이라면 비교에 나름의 이유가 있다고 답했다.

다른 모델을 직접 실행해 봤다는 사용자도 있었다. 그는 M5 울트라와 M5 맥스(M5 Max)에서 각각 별도의 대형 모델을 구동하고 품질 평가도 해봤다고 설명했다. 이에 대한 답글은 작은 메모리 구성에서 모델을 실행하려면 정밀도를 얼마나 낮춰야 하는지, 그때 사용 경험이 나빠지지 않는지를 물었다.

‘책상 위’라는 표현의 현실성을 따지는 의견도 나왔다. 한 사용자는 맥 스튜디오 네 대를 쓰는 구성이 보통의 책상 환경과는 거리가 있다고 말했다. 답글에서는 512GB 제품의 가격이 아직 공개되지 않았다며, 여러 대를 마련하는 비용을 외부 모델 서비스 사용료와 비교해야 한다고 주장했다.

모델 선택과 글의 초점을 두고도 의견이 갈렸다. 한 사용자는 애플이 메타(Meta)의 모델을 전면에 내세우면서 회사 이름은 거의 언급하지 않는다고 지적했다. 반론은 이 글이 메타의 기술을 소개하는 보도자료라기보다, 특정 모델을 사례로 애플의 MLX와 기기 간 통신을 보여주는 글이라고 봤다.

문맥 길이에 주목한 사용자는 초당 36토큰이라는 눈에 띄는 수치가 8192토큰 문맥에서 나온 점을 짚었다. 이 정도 문맥은 오늘날의 작업에 부족할 수 있다는 주장이다. 반면 작업을 나눠 처리하는 에이전트 방식으로 제한을 어느 정도 우회할 수 있다는 답글도 나왔다.

전력 비교에는 냉소적인 반응도 있었다. 애플은 맥 스튜디오 한 대의 최대 전력이 일반적인 토스터보다 낮다는 식으로 설명했지만, 한 사용자는 토스터를 장시간 계속 켜두지는 않는다고 꼬집었다. 순간 최대 전력 수치와 오래 실행하는 추론 작업의 전력 부담을 같은 말로 받아들여서는 안 된다는 취지다.

비용과 장기 가능성을 함께 보는 의견도 있었다. 한 사용자는 지금은 로컬 구성이 너무 비싸고 여러 용도에 맞게 설정하기도 쉽지 않다고 평가했다. 다른 사용자는 현재 맥 스튜디오가 저렴한 장비는 아니지만, 언젠가 이런 모델을 더 보편적인 하드웨어에서 실행할 수 있으리라는 방향 자체는 기대한다고 말했다.

핵심통찰

이번 결과가 바꾸는 것은 ‘큰 모델을 로컬에서 돌릴 수 있나’라는 질문의 범위다. 애플은 한 대의 메모리 한계를 여러 대의 맥과 빠른 통신으로 넘고, 그 실행 결과를 로컬 에이전트 도구에 연결하는 경로까지 보여줬다. 그러나 초당 토큰 수 하나로 쓸 만한 환경이 완성되지는 않는다. 앞으로는 자주 쓰는 긴 문맥에서 첫 응답을 얼마나 기다려야 하는지, 기기를 늘릴 때 속도 이득이 통신 비용을 넘어서는지, 그 구성에 드는 비용을 감수할 사용자가 누구인지를 함께 봐야 한다.


원본: Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio

토론: Hacker News