M4 프로 맥 미니로 꾸린 개인용 AI 서버

M4 프로 맥 미니 한 대로 개인용 AI 서버를 돌리고, 휴대전화와 노트북에서 같은 모델에 접속하는 구성이 공개됐다. 글쓴이는 메모리 48GB짜리 맥 미니에 추론 서버와 두 가지 언어 모델을 올려 에이전트, 간단한 채팅, 코딩 작업에 쓰고 있다. 설정에 걸리는 시간은 약 30분이라는 설명이다. 클라우드 모델을 모두 대체하겠다는 이야기는 아니다. 일상적인 요청을 자기 컴퓨터로 처리하면서 비용과 데이터 통제권을 확보하려는 선택이 어디까지 실용적인지 살펴볼 만하다.

핵심 요약

  • 글쓴이는 M4 프로 맥 미니에 대형 모델과 경량 모델을 함께 올려 작업의 무게에 따라 골라 쓴다.
  • 클라우드 API의 요금·사용 한도·모델 변경에 좌우되지 않으려는 것이 로컬 운영의 주된 이유다.
  • 35B 모델은 토큰마다 약 3B의 매개변수만 활성화하지만, 전체 가중치를 담을 메모리와 문맥 처리 공간은 여전히 필요하다.
  • 글쓴이가 측정한 주력 모델의 속도는 입력 처리 초당 평균 325토큰, 출력 생성 초당 34토큰으로, 사용성을 판단할 때 작업 종류가 중요하다.
  • 토론에서는 개인정보 보호의 이점에 공감하면서도 모델 품질, 첫 응답 지연, 하드웨어 비용을 함께 따져야 한다는 의견이 나왔다.

맥 미니 위에 쌓은 네 가지 도구

글쓴이의 서버는 메모리 48GB를 갖춘 M4 프로 맥 미니(Mac mini)에서 돌아간다. 주력 모델은 깊은 추론이 필요한 요청에 쓰는 큐원(Qwen) 3.6 35B-A3B 옵티큐(OptiQ) 4비트 모델이다. 간단한 대화와 서식 정리에는 구글(Google)의 젬마(Gemma) 4 E4B 4비트 모델을 쓴다. 두 모델에 요청을 전달하는 추론 서버는 오엠엘엑스(oMLX)다.

기기 연결에는 테일스케일(Tailscale)을 사용한다. 맥 미니, 아이폰(iPhone), 맥북(MacBook)을 사설 네트워크로 묶어 외부에서도 같은 서버에 접속하는 구성이다. 글쓴이는 이 전체 환경을 약 30분이면 설정할 수 있다고 소개한다. 다만 서버를 띄우는 것과 자기 작업에 맞는 모델을 고르는 것은 별개의 과정이다.

클라우드 API를 ‘빌린 땅’으로 보는 이유

글쓴이가 로컬 운영을 택한 가장 큰 이유는 클라우드 API에 대한 의존이다. 그는 월 200달러짜리 구독 두 개의 사용량을 정기적으로 소진했으며, 같은 서비스의 모델도 시점에 따라 다르게 느껴졌다고 말한다. 제공업체가 가격과 사용 한도를 바꾸거나 서비스 뒤편의 모델을 교체할 수 있다는 점도 불안 요소로 꼽는다. 작업 흐름이 특정 클라우드 모델에 묶여 있다면 이런 변화에 맞춰 다시 손봐야 한다.

민감한 코드와 고객 데이터, 독자적인 작업 절차를 외부 API로 보내는 문제도 제기한다. 한번 전송한 데이터는 되돌릴 수 없으므로, 글쓴이는 이를 운영 보안에 관한 결정으로 본다. 정부의 모델 제공 제한처럼 이용자가 통제할 수 없는 변화도 로컬 컴퓨팅을 확보하려는 이유로 든다. 하드웨어를 직접 갖추면 사용량에 따라 청구액이 뛰거나 제공업체의 요청 한도에 막히는 일은 피할 수 있지만, 장비 구입비와 전기료는 여전히 든다.

하나의 서버를 휴대전화와 맥북에서 쓰기

맥 미니에는 에이전트의 작업을 처리하는 헤르메스(Hermes)도 상시 실행된다. 맥북의 헤르메스 데스크톱 앱은 화면 역할을 하고, 휴대전화에서는 텔레그램(Telegram)으로 같은 백엔드에 접속한다. 덕분에 어느 기기를 쓰든 대화 기록과 에이전트가 사용할 수 있는 기능을 공유한다. 맥 미니를 책상 위에 두고 거의 신경 쓰지 않아도 되는 상시 서버로 만든 셈이다.

헤르메스 밖에서는 아이폰의 아폴로(Apollo)를 짧은 질문에 사용한다. 문단을 고쳐 쓰거나 오류의 뜻을 묻는 식의 요청을 별도 API 키나 구독 없이 로컬 서버로 보낸다. 맥에서는 레이캐스트(Raycast)를 자잘한 작업에, 파이(Pi)를 코딩 에이전트로 쓴다. 글쓴이의 목표는 GPT나 클로드(Claude)의 고성능 모델을 없애는 것이 아니라, 그런 모델까지 필요하지 않은 일상 요청 약 80%를 로컬에서 처리하는 것이다.

35B 모델이 차지하는 메모리

로컬 모델 선택에서 먼저 확인할 것은 이름에 적힌 매개변수 수보다 실제 메모리 사용량이다. 주력 큐원 모델의 ‘35B’는 전체 매개변수 약 350억 개, ‘A3B’는 토큰 하나를 처리할 때 활성화되는 매개변수 약 30억 개를 뜻한다. 이는 작업에 필요한 일부 전문가 모듈만 활성화하는 전문가 혼합(MoE) 구조다. 옵티큐 4비트는 가중치 대부분을 4비트로 줄이되 민감한 층에는 8비트를 쓰는 양자화(숫자의 정밀도를 낮춰 모델 크기를 줄이는 방식)를 가리킨다.

글쓴이의 맥 미니에서 이 모델이 차지하는 메모리는 약 20GB다. 남은 약 28GB는 운영체제와 다른 프로그램, 긴 대화의 문맥을 처리하는 데 쓸 수 있다. 간단한 일에 쓰는 젬마 모델은 약 2.4GB여서 함께 두기에도 부담이 작다. 반면 4비트로 줄인 밀집형 27B 모델은 약 14GB가 필요해, 메모리 16GB 기기에서는 운영체제와 문맥에 내줄 공간이 빠듯하다는 설명이다.

여기서 ‘토큰당 3B만 활성화된다’는 말과 ‘모델 전체를 메모리에 담아야 한다’는 말은 구분해야 한다. 글쓴이는 MoE의 활성 매개변수 수가 처리 부담을 이해하는 데 중요하다고 설명하면서도, 35B 모델의 가중치 전체가 통합 메모리에 놓인다고 적었다. 따라서 다른 기기에서 실행 가능성을 따질 때는 활성 매개변수만 보지 말고 양자화된 파일 크기부터 확인해야 한다. 글쓴이가 제시한 점검 순서는 운영체제에 약 68GB를 빼고, 긴 문맥을 쓴다면 816GB의 여유와 추가 완충 공간까지 남기는 것이다.

초당 토큰 수보다 먼저 볼 지연

글쓴이가 측정한 주력 모델의 평균 속도는 입력 프롬프트 처리 초당 325토큰, 답변 생성 초당 34토큰이다. 그는 이를 즉각적인 속도는 아니지만 일상적으로 쓰기에 충분한 수준으로 평가한다. 모델이 메모리에 들어가는지와 들어간 뒤 얼마나 빨리 응답하는지는 다른 문제다. 특히 도구 설명과 이전 대화가 긴 에이전트 작업에서는 답변을 만들기 전 입력을 읽는 시간도 체감 속도를 좌우한다.

속도에는 메모리 대역폭도 영향을 준다. 글쓴이가 제시한 M4 프로의 통합 메모리 대역폭은 초당 273GB로, 모델 가중치를 연산 장치로 옮기는 속도와 관련된다. 비교 대상으로 든 기본 M3는 초당 100GB, M2 프로는 200GB, M3 맥스는 최대 400GB다. 이 수치들은 같은 모델을 쓸 수 있느냐뿐 아니라, 실제 작업에서 기다릴 만한 속도가 나오느냐를 따져야 하는 이유를 보여준다.

모델 교체는 다운로드와 재시작

글쓴이는 로컬 운영의 장점으로 새 모델을 직접 시험하기 쉽다는 점도 든다. 모델을 지정한 디렉터리에 내려받으면 오엠엘엑스가 찾아내고, 앱에서 선택하거나 서버를 재시작해 바꿀 수 있다. 관리 화면에는 허깅페이스(Hugging Face) 모델 탐색 기능도 들어 있다. 이후 헤르메스, 파이, 레이캐스트, 아폴로에서 사용할 모델을 바꾸면 된다.

이 과정이 중요한 까닭은 어떤 모델이 자기 작업에 맞는지 직접 확인할 수 있기 때문이다. 글쓴이는 코딩과 추론, 도구 사용에서 로컬 모델과 API 모델의 격차가 빠르게 줄고 있다고 평가한다. 그가 인용한 비교에서 주력 모델의 옵티큐 4비트 버전은 BF16(16비트 부동소수점 기준 모델)보다 대부분의 벤치마크에서 약 1~2점 낮았다. 글쓴이는 그 정도 차이라면 메모리를 줄이는 대가로 받아들일 만하다고 본다.

사설망과 문맥 캐시가 잇는 에이전트 작업

테일스케일은 여러 기기가 인터넷을 통해 맥 미니에 닿되, 추론 서버를 공개 인터넷에 직접 노출하지 않도록 연결한다. 오엠엘엑스 서버는 8000번 포트에서 요청을 받고, 같은 사설망의 앱들이 하나의 접속 지점을 사용한다. 기기마다 서버를 따로 설정하며 생길 수 있는 차이도 줄어든다. 외부에서 쓰는 로컬 모델은 결국 기기 안의 연산과 기기 사이의 연결을 함께 설계하는 문제다.

에이전트가 앞서 본 내용을 다시 참조할 때는 오엠엘엑스의 KV 캐시(이미 처리한 문맥의 계산 결과를 저장한 자료)가 도움이 된다. 글쓴이는 캐시 블록을 SSD에 보관했다가 같은 앞부분이 다시 나오면 재계산하는 대신 불러온다고 설명한다. 그는 이 구성이 헤르메스 같은 에이전트 작업을 로컬에서 실용적으로 만드는 요소라고 본다. 현재 M4 프로 맥 미니의 성능에 만족하면서도, 더 큰 메모리를 갖춘 M5 맥스 맥 스튜디오(Mac Studio) 128GB 모델을 주문했다고 밝혔다.

커뮤니티 의견

한 사용자는 모델 이름을 읽고 메모리를 계산하는 과정부터 여러 구성 요소를 연결하는 방법까지, 설명이 자세한 만큼 로컬 AI가 아직 복잡해 보인다고 했다. 그는 특별한 지식 없이 켜서 쓰는 일체형 제품이 나오기를 기다린다고 밝혔다. 답글에서는 허깅페이스에서 기기 사양에 맞는 모델을 찾고, 느리면 다른 모델로 바꾸며 익힐 수 있다는 의견이 나왔다.

다른 사용자는 16GB 미니 PC에도 여러 모델을 올릴 수 있지만 성능이 나빠 실제로 무엇을 쓸 만하다고 평가하는지 궁금하다고 했다. 답글에서는 M4 프로 48GB 기기에서 4비트 모델 두 종류를 초당 각각 52토큰과 72토큰으로 쓰며 자신의 용도에는 충분하다는 경험이 공유됐다. 반대로 성능이 우선이라면 취미나 개인정보 보호 목적이 아닌 이상 고성능 클라우드 모델 API를 쓰는 편이 낫다는 반론도 있었다.

간단한 질문에는 이미 무료 AI를 쓸 수 있는데 작은 모델까지 직접 돌릴 경제적 이유가 있느냐는 의문도 나왔다. 이 사용자는 복잡하고 중요한 작업일수록 자율성과 개인정보 보호가 중요해지지만, 그만큼 모델의 품질도 중요하다고 봤다. 답글에서는 무료 서비스가 가벼운 사용에는 열려 있어도 이를 바탕으로 지속적인 작업을 구축하면 한도에 부딪힐 수 있다는 지적이 이어졌다.

한 사용자는 M1 맥스 32GB 맥북에서 코드 개선 요청을 넣고 모델별 입력 처리·출력 생성 속도와 결과를 비교했다. 그가 시험한 밀집형 27B 모델은 부분적인 결과가 좋아도 작업을 끝내기 전에 출력 토큰이 소진됐고, 한 MoE 모델은 도구 호출 과정에서 반복에 빠지기도 했다. 이 사용자는 테스트한 큐원 35B-A3B 변형 중 하나가 속도와 결과의 균형이 가장 좋았다고 평가했다.

M4 맥스와 메모리 128GB를 쓰는 사용자는 출력 속도보다 입력을 먼저 처리하는 프리필(prefill) 지연이 가장 큰 문제라고 했다. 이후 다른 장비 두 대를 마련하자 반응이 훨씬 빠르게 느껴졌다는 경험을 덧붙였다. 큰 메모리와 초당 생성 토큰 수만으로 대화나 에이전트의 체감 속도를 설명하기 어렵다는 관점이다.

글쓴이가 클라우드 API를 ‘빌린 땅’에 비유한 데에는 다른 우선순위를 제시하는 반론이 나왔다. 한 사용자는 API 제공업체를 바꾸는 일은 비교적 쉽다고 봤다. 따라서 로컬 모델을 운영해야 할 가장 강한 이유는 가격이나 공급자 변경 위험보다 개인정보 보호라고 주장했다.

왜 다른 소형 컴퓨터 대신 맥 미니를 쓰느냐는 질문에는 통합 메모리를 꼽는 답글이 달렸다. 별도 그래픽카드의 비디오 메모리에만 모델을 맞출 필요 없이, 그래픽 연산 장치가 큰 메모리 공간에 접근할 수 있다는 설명이다. 다만 이 장점은 모델을 담는 문제에 가깝고, 실제 속도는 별도로 살펴야 한다.

마지막으로 한 사용자는 실행 가능성을 메모리만으로 설명하면 부족하며 메모리 대역폭도 중요하다고 지적했다. 그는 모델 구조와 설정에 따라 밀집형 모델이 더 나은 선택이 될 수도 있다고 주장했다. 답글에서는 에이전트처럼 긴 초기 입력을 읽는 작업에서는 MoE 모델의 입력 처리 속도가 유리하다는 의견이 나왔고, 글쓴이도 메모리는 실행 여부, 대역폭은 속도에 중요하다는 구분을 재확인했다.

핵심 통찰

이 사례가 바꾸는 것은 최고 성능 모델의 자리가 아니라, 매일 반복하는 요청을 어디에서 처리할지에 대한 기본값이다. 한 대의 상시 가동 컴퓨터에 여러 기기를 연결하면 가벼운 질문과 일부 에이전트 작업을 외부 API 없이 이어갈 수 있다. 그러나 로컬이라는 이유만으로 빠르거나 저렴해지는 것은 아니다. 모델이 차지하는 전체 메모리, 긴 입력의 처리 지연, 실제 작업 결과를 함께 비교해야 한다. 앞으로 볼 지점은 새 모델의 성능 자체보다, 이런 비교와 교체가 얼마나 쉬워지는가다.


원본: My local model setup on an M4 Pro Mac mini

토론: Hacker News