라마-모드칩(llama-modchip)은 GPU 없이 64GB RAM을 갖춘 CPU 시스템에서 2840억 매개변수의 딥시크-V4-플래시(DeepSeek-V4-Flash)를 실행하도록 만든 도구다. 개발자는 모델을 메모리에 맞게 줄이고 CPU의 캐시와 연산 방식을 손봐 초당 9.1~14.7개의 출력 토큰을 생성한다고 밝혔다. 눈길을 끄는 대목은 거대한 모델을 ‘실행할 수 있다’는 주장만이 아니다. 얼마나 압축했는지, 어떤 속도를 측정했는지, 사용자가 실제로 실행할 때 어디에서 막히는지를 함께 봐야 이 수치의 쓸모를 판단할 수 있다.
핵심요약
- 라마-모드칩은 2840억 매개변수 모델을 56.56GiB 파일로 줄여 64GB RAM 시스템에서 스왑 없이 실행하도록 설계했다.
- 개발자는 16코어 CPU에서 입력 처리 속도가 초당 25.0토큰에서 44.36토큰으로 올랐다고 밝혔지만, 이는 답변 생성 속도와는 다른 지표다.
- 기본 설정은 혼합 전문가 모델의 전문가 경로를 건너뛰지 않아, 속도를 위해 경로를 줄이는 선택 설정과 구분된다.
- 긴 문맥을 다시 불러오는 기능은 도구 40개가 포함된 클로드 코드 프롬프트에서 13.1~32.6밀리초의 복원 시간을 제시한다.
- Hacker News에서는 메모리 절약과 CPU 최적화를 반기는 한편, 강한 양자화에 따른 품질과 설치·실행 과정의 재현성을 따져 물었다.
76.87GiB 모델을 64GB RAM 안으로
라마-모드칩은 라마.cpp(llama.cpp)의 연산 커널을 수정하는 패치, 모델 변환 도구, 실행 도구를 묶은 프로젝트다. 대상으로 삼은 것은 혼합 전문가 모델(MoE·입력마다 일부 전문가 경로만 활성화하는 구조)이다. 이 구조에서는 전체 매개변수가 2843억 개여도 한 번의 계산에 참여하는 활성 매개변수는 131억7000만 개다. 그러나 쓰지 않는 전문가의 가중치도 필요할 때 곧바로 읽으려면 저장할 메모리가 있어야 한다.
개발자가 제시한 기존 딥시크-V4-플래시 체크포인트의 크기는 76.87GiB로, 64GB 리눅스 시스템에서 쓸 수 있는 약 62.5GiB의 RAM을 넘는다. 그 결과 운영체제가 파일을 메모리에 올렸다 내리기를 반복하거나 메모리 부족으로 프로세스를 종료할 수 있다고 설명한다. 라마-모드칩은 모델 파일을 56.56GiB로 줄였고, 256K 문맥의 KV 캐시(앞서 읽은 문맥의 계산 결과를 보관하는 메모리)를 포함한 실제 메모리 사용량을 57.61~58.9GiB로 제시했다. 핵심은 디스크에 모델 파일을 저장하는 데 그치지 않고, 실행 중 필요한 데이터까지 스왑 없이 RAM에 붙잡아 두는 것이다.
가중치당 1.71비트와 전문가 경로
이 크기 감소에는 양자화(가중치를 더 적은 비트로 표현하는 방식)가 쓰인다. 프로젝트가 밝힌 수치는 가중치당 평균 1.71비트다. ‘2840억 매개변수’라는 규모와 ‘64GB에서 실행’이라는 조건을 함께 읽으려면 이 숫자가 빠져서는 안 된다. 적은 메모리로 모델을 올리는 대신, 압축된 가중치가 답변 품질에 어떤 영향을 주는지가 중요한 평가 항목이 되기 때문이다.
전문가 경로를 줄이는 문제는 가중치 양자화와 별개다. 개발자는 기본 설정에서 각 층의 경로 지정 전문가 6개와 공유 전문가 1개를 모두 계산하며, 전문가를 버리지 않는다고 밝혔다. 같은 56.56GiB 체크포인트를 사용하는 수정 전 실행 환경과 비교해 출력 로짓의 코사인 유사도가 1.00000이라는 설명도 여기에 붙는다. 이는 해당 체크포인트에서 전문가 경로를 생략하지 않았다는 비교이지, 압축 전 모델과 답변 품질이 같다는 뜻은 아니다.
속도를 더 원한다면 환경변수로 경로 지정 전문가 수를 6개에서 5개 또는 4개로 줄일 수 있다. 프로젝트는 이 선택에 따라 생성 속도를 높이는 대신 퍼플렉시티(다음 토큰 예측의 불확실성을 나타내는 지표)에 작은 차이가 생길 수 있다고 설명한다. 따라서 기본 실행의 수치와 전문가 수를 줄인 실행의 수치를 같은 조건으로 읽어서는 안 된다. 어느 설정에서 측정했는지 확인해야 속도와 품질의 교환 관계가 드러난다.
CPU 캐시를 따라 바꾼 계산 순서
모델이 RAM에 들어간 뒤에는 CPU가 가중치를 얼마나 효율적으로 읽는지가 속도를 좌우한다. 라마-모드칩은 프리필(사용자의 입력 문맥을 먼저 처리하는 단계)에서 한 열씩 처리하던 양자화 행렬 연산을 여러 열을 묶어 계산하도록 바꿨다. 개발자는 레지스터와 L1·L2·L3 캐시의 크기에 맞춰 작업을 나누는 방식을 적용했다고 설명한다. 자주 쓰는 데이터가 가까운 캐시에 머물도록 계산 순서를 짠 것이다.
개발자가 제시한 16코어 젠 5(Zen 5) CPU 측정에서 프리필 속도는 초당 25.0토큰에서 44.36토큰으로 올랐다. 프로젝트 소개에는 프리필 77%, 디코드(답변 토큰을 차례로 생성하는 단계) 53% 개선이라는 수치도 적혀 있다. 두 단계는 체감 속도에 다르게 작용한다. 긴 파일을 처음 읽는 시간과 이미 읽은 문맥을 바탕으로 답변을 이어 쓰는 시간을 구분해야 한다.
전문가 가중치를 메모리에서 읽을 때도 캐시를 덜 어지럽히도록 처리했다. 개발자는 한 번 쓰고 지나갈 가능성이 큰 전문가 가중치가 L3 캐시에 남아, 자주 참조하는 KV 캐시 데이터를 밀어내지 않게 했다고 설명한다. 주의 연산을 처리하는 커널도 수정했다. GPU를 쓰지 않는 실행에서 성능을 끌어올리기 위해 연산량뿐 아니라 데이터가 CPU 안팎을 오가는 경로까지 손본 셈이다.
초안 생성과 13밀리초 문맥 복원
라마-모드칩에는 투기적 생성(가벼운 도구가 다음 토큰의 초안을 만들고 본 모델이 확인하는 방식) 기능도 들어 있다. 프로젝트는 1.64MB 크기의 n그램 초안 생성기를 사용한다고 설명한다. 큰 모델이 모든 토큰을 처음부터 직접 생성하는 대신, 먼저 제안된 토큰을 확인하는 방식이다. 개발자는 추측이 빗나갔을 때 딥시크 모델의 상태를 되돌리는 처리도 수정했다고 밝혔다.
에이전트 작업에서는 답변 생성뿐 아니라 이전 문맥으로 돌아가는 시간도 중요하다. 라마-모드칩은 공유 메모리의 KV 슬롯 스냅샷을 이용해 문맥을 복원한다. 프로젝트가 제시한 측정치는 도구 40개가 포함된 클로드 코드(Claude Code) 프롬프트에서 13.1~32.6밀리초다. 제목의 ‘13밀리초 복원’은 이 범위의 가장 빠른 쪽을 가리킨다.
이 기능은 긴 작업을 오가며 같은 문맥을 다시 준비하는 비용을 겨냥한다. 다만 문맥을 복원하는 데 걸린 시간과 복원 후 새 입력을 처리하거나 답변을 생성하는 시간은 별개다. 코딩 에이전트의 체감 속도를 보려면 초당 출력 토큰 수 하나만이 아니라 입력 처리, 문맥 재사용, 답변 생성의 각 시간을 함께 봐야 한다.
실행 명령과 서로 다른 메모리 조건
리눅스와 macOS에서는 저장소를 내려받은 뒤 ./modchip chat 명령으로 시작하도록 안내한다. 별도로 제공하는 리눅스용 실행 파일과 GGUF 모델 파일을 직접 내려받아 서버를 띄우는 방법도 있다. 안내된 예시에서 300억 매개변수 네모트론-3.5-30B-A3B(NVIDIA-Nemotron-3.5-30B-A3B)는 14.35GiB 파일을 사용하며, 1632GB RAM에서 초당 2560.4토큰으로 소개된다. 딥시크-V4-플래시 예시는 56.56GiB 파일과 64GB RAM을 조건으로 초당 9.1~14.7토큰을 제시한다.
문맥 길이도 실행 예시마다 다르다. 네모트론 명령은 262144토큰으로 설정돼 있지만, 딥시크를 직접 실행하는 예시 명령은 32768토큰으로 설정돼 있다. 프로젝트가 내세운 딥시크의 256K 문맥 메모리 수치와 안내 명령의 기본 예시를 혼동하지 않아야 한다. 실제 사용자는 자신이 선택한 모델과 문맥 길이에 맞춰 메모리 여유를 확인해야 한다.
호환성에도 경계가 있다. 이 프로젝트의 프랙털-64(Fractal-64) 모델은 별도 텐서 형식과 전용 커널을 사용하므로, 수정하지 않은 라마.cpp나 올라마(Ollama), 엘엠 스튜디오(LM Studio) 실행 파일에서는 열리지 않는다. 윈도 10·11용 묶음은 CPU와 GPU를 함께 사용하는 경로로 안내되며, 설치 과정에서 코어 수와 남은 RAM, GPU 메모리를 확인한다. ‘GPU 없이 64GB’라는 대표 사례가 모든 운영체제와 실행 경로에 그대로 적용되는 것은 아니다.
벤치마크와 재현의 간격
프로젝트는 라이젠 9 9955HX(AMD Ryzen 9 9955HX)를 사용한 64GB 젠 5 CPU의 딥시크 실행을 대표 사례로 내세운다. 네모트론의 256K 문맥 실행, CPU별 최적화 문서, 품질 평가 도구와 결과 파일도 저장소에 마련했다. 모델을 내려받지 않고 CPU 준비 상태만 확인하는 스크립트와 사용자가 점수를 제출할 수 있는 벤치마크 안내도 있다. 공개된 수치를 다른 장비의 결과와 비교할 수 있도록 측정 경로를 넓히려는 구성이다.
하지만 이 저장소가 답해야 할 질문은 최고 속도 하나로 끝나지 않는다. 어떤 체크포인트와 양자화 파일을 사용했는지, 전문가 경로를 몇 개 계산했는지, 입력과 출력 속도를 각각 어떻게 측정했는지가 함께 적혀야 한다. 특히 초저비트 모델은 실행 자체가 성과인 동시에 출력 품질을 세심하게 확인해야 하는 대상이다. 사용자들이 설치 명령을 따라 실제로 같은 모델을 올리고 비슷한 결과를 얻는지가 프로젝트의 다음 시험대다.
커뮤니티 의견
한 사용자는 로컬 AI 시스템을 꾸리는 데 필요한 장비의 문턱이 계속 낮아진다고 봤다. 구형 워크스테이션에 RAM과 GPU를 더하면 비용을 억제하면서도 쓸 만한 속도를 얻을 수 있다는 주장이다. 반면 답글에서는 일반 사용자가 그런 구성을 직접 운영하기 어렵고, 로컬 모델을 최상위 서비스 모델과 곧바로 비교하기도 힘들다는 반론이 나왔다.
양자화 품질을 먼저 따져야 한다는 의견도 있었다. 한 사용자는 지나친 양자화의 성능 변화가 선형적이지 않으며, 자신이 다뤄 온 음성 모델에서는 8비트 아래의 품질 저하가 크게 느껴졌다고 말했다. 답글에서는 그가 인용한 연구 결과가 특정 기법과 모델에 관한 것이며, 양자화를 고려한 학습 방식까지 보편적으로 설명하지는 않는다고 지적했다.
128GB 통합 메모리 환경이라면 코딩 에이전트에 쓸 만한 속도도 가능하다는 의견이 나왔다. 그러나 다른 사용자는 공유된 영상에서 입력 토큰 43개를 처리하는 데 약 4초가 걸리는 것으로 보인다며, 많은 파일을 읽는 에이전트 작업에 그 속도를 적용하기 어렵다고 반박했다. 논쟁의 초점은 짧은 시연의 출력 속도보다 긴 입력을 반복해서 읽을 때의 대기 시간에 있었다.
직접 실행해 본 사용자는 네모트론에서 기존 라마.cpp와 비교해 프리필을 제외한 속도 차이가 크지 않았다고 적었다. 또 다른 사용자는 CPU 준비 상태 검사에서는 좋은 등급을 받았지만, 기본 설치에서는 딥시크 선택지를 찾지 못했고 별도 안내를 따른 실행도 텐서 형태 오류로 멈췄다고 전했다. 이들은 성능 주장만큼 설치 경로의 작동 여부를 확인해야 한다고 봤다.
가중치당 비트 수를 더 눈에 띄게 밝혀야 한다는 반응도 이어졌다. 일부 사용자는 파일 크기를 보고 ‘2비트 수준’으로 받아들이며 결과 품질을 궁금해했다. 다른 사용자는 설명에 등장하는 기존 모델 크기와 자신이 아는 GGUF 파일 크기가 맞지 않는다며, 비교 대상인 체크포인트와 양자화 방식부터 명확히 해달라고 요구했다.
저장소 설명의 읽기 어려움도 지적됐다. 한 사용자는 이모지와 빽빽한 홍보성 문구가 핵심 정보를 찾기 어렵게 만든다고 말했다. 다른 사용자는 이모지를 없애는 것만으로는 부족하며, 무엇을 바꿨고 어떻게 시험할 수 있는지를 사람이 읽기 쉽게 정리해야 한다는 취지로 답했다.
라마.cpp의 파생 프로젝트가 늘어나는 상황을 짚은 의견도 있었다. 한 사용자는 가중치 스트리밍이나 특수 양자화 같은 최적화가 여러 프로젝트에서 나오지만, 상위 프로젝트의 변경 사항 검토가 늦어 지원이 흩어진다고 봤다. 답글에서는 자원봉사자가 많은 변경 요청을 서둘러 받아들이는 것도 위험하다며 검토 기준을 낮추는 데 반대했다.
장비 가격과 공급 상황이 오히려 효율화의 동기가 될 수 있다는 관점도 나왔다. 한 사용자는 하드웨어가 귀했던 환경에서 기술적 창의성이 나왔던 사례를 떠올렸다. 또 다른 사용자는 로컬 실행의 비용을 데이터 주권과 함께 평가해야 한다고 주장했다. 둘 다 최고 성능만이 아니라 사용자가 모델을 직접 보유하고 운영하는 이유에 주목한 의견이다.
핵심통찰
라마-모드칩이 바꾸려는 것은 ‘대형 모델에는 반드시 GPU가 필요하다’는 실행 조건이다. 56.56GiB 파일과 CPU 캐시 최적화는 64GB RAM에서도 시도할 수 있는 구체적인 경로를 보여준다. 다만 사용자가 얻는 것은 원본 모델과 동일한 품질을 보증받는 경험이 아니라, 압축률·속도·품질을 직접 고르는 선택지다. 앞으로 지켜볼 것은 다양한 CPU에서의 재현 가능한 측정과 설치 성공률, 그리고 초저비트 모델이 실제 작업에서 내놓는 답변의 품질이다.
토론: Hacker News