램 1GB 구형 기기에서 16B 언어 모델 돌리기

스몰맥싱(smolmaxxing) 프로젝트는 램이 1GB 안팎인 TV 박스와 구형 아이패드에서 최대 16B 규모의 언어 모델을 실행한 결과를 공개했다. 개발자는 휴대전화에서도 남는 램 약 3GB와 플래시 저장장치를 활용해 35B·80B 모델을 구동했다. 핵심은 모델 전체를 메모리에 올리지 않고 필요한 부분만 읽어 들이는 방식이다. 오래된 기기에서 어디까지 모델을 돌릴 수 있는지, 칩별 연산과 메모리 관리까지 손봐 실측했다는 점에서 눈길을 끈다.

핵심요약

  • 스몰맥싱은 TV 박스·구형 아이패드·휴대전화에서 언어 모델을 실행하고 기기별 측정치를 공개해, 작은 하드웨어의 한계를 실험 대상으로 삼았다.
  • 개발자는 라마.cpp(llama.cpp)에 칩별 연산 커널과 메모리 절약 기능을 추가해, 모델 크기뿐 아니라 실제 구동 조건까지 최적화했다.
  • 혼합 전문가 모델에서 자주 쓰는 부분만 램에 남기고 나머지를 플래시에서 읽어, 사용 가능한 램보다 큰 모델을 실행했다.
  • 모델 파일과 설치 문서를 공개해 재현 경로를 마련했지만, 일부 파일은 수정된 라마.cpp가 있어야 불러올 수 있다.
  • 토론에서는 오래된 기기를 살리는 기술적 성과와 별개로, 실행된 모델의 속도와 실제 작업 능력을 따져야 한다는 의견이 나왔다.

램 1GB 기기 두 대와 휴대전화 한 대

스몰맥싱의 출발점은 집에 남아 있는 작은 컴퓨터다. TV 박스, 오래된 휴대전화와 태블릿, 싱글보드 컴퓨터, 공유기에는 CPU와 램, 플래시 저장장치가 있지만 하루 중 상당 시간 쓰이지 않는다. 개발자는 이런 기기에서 실행 가능한 가장 큰 언어 모델을 찾고, 연산 방식과 메모리 사용을 바꿔 그 범위를 넓히려 한다. 저장소에 공개한 수치는 기기에서 직접 측정한 결과라고 밝혔다.

현재 결과가 공개된 기기는 TV 박스, 아이패드(iPad), 안드로이드(Android) 휴대전화 세 대다. TV 박스와 아이패드는 사용 가능한 램이 약 1GB인 환경에서 8B와 16B 혼합 전문가 모델을 실행한다. 휴대전화는 남는 램 약 3GB로 35B와 80B 모델을 돌린다. 세 기기 모두 모델 전체를 램에 두지 않고 필요한 부분만 저장장치에서 읽는다.

두 1GB 기기의 결과는 모델 크기별로 비교하고, 더 큰 모델을 다루는 휴대전화의 측정치는 별도 문서에 정리했다. 여기서 8B·16B·35B·80B는 모델의 매개변수 규모를 가리키므로, 숫자만으로 응답 속도나 답변 품질을 비교해서는 안 된다. 이 프로젝트가 겨냥한 한계는 단순히 파일을 저장할 수 있느냐가 아니라, 제한된 램에서 추론을 계속 진행할 수 있느냐다. 개발자는 앞으로 싱글보드 컴퓨터와 공유기, 다른 휴대전화의 결과도 추가할 계획이다.

라마.cpp에 붙인 칩별 연산 커널

스몰맥싱은 새 추론 프로그램을 처음부터 만든 것이 아니라 라마.cpp를 수정한 프로젝트다. 개발자가 먼저 손댄 곳은 기기에서 모델의 계산을 수행하는 연산 커널(특정 계산을 처리하도록 만든 코드)이다. 저장소에는 1비트 값을 다루는 조회표 방식의 커널과, 코텍스-A55(Cortex-A55)에 맞게 데이터를 다시 배치한 2비트·삼진 형식이 소개돼 있다. 같은 모델이라도 칩이 잘 처리할 수 있는 형태로 계산을 맞추는 접근이다.

코텍스-A7(Cortex-A7)용 구현은 점곱 연산 명령어가 없는 조건을 고려한다. 개발자는 1비트 커널에는 기본적인 NEON(ARM 프로세서의 벡터 연산 기능)만 있으면 된다고 설명한다. 따라서 특정 TV 박스 한 대의 구조에만 묶인 기술은 아니라는 주장이다. 다만 기기마다 효과가 얼마나 다른지는 각 기기에서 측정해야 할 문제로 남는다.

이런 작업은 모델을 작게 만드는 일과 구분된다. 이미 정해진 계산을 해당 CPU에서 더 잘 처리하도록 바꾸는 한편, 뒤이어 나오는 메모리 절약 기법으로 실행 중 붙잡아 두는 데이터도 줄인다. 개발자는 각 기법과 그에 따른 측정 결과를 별도 기술 문서에 담았다. 저장소가 모델 실행 여부뿐 아니라 어떤 변경이 도움이 됐는지를 추적하려는 이유다.

출력 어휘와 백그라운드 서비스 줄이기

메모리를 아끼기 위해 개발자는 작은 모델의 출력 부분도 손봤다. 모델이 다음에 내놓을 토큰(문장을 처리하는 작은 단위)을 고를 때 참조하는 어휘 가운데, 거의 쓰이지 않는 항목의 출력 행을 제거하는 방식이다. 이처럼 출력 부분을 줄인 모델 파일은 일반 라마.cpp에서 그대로 읽을 수 없다. TV 박스와 아이패드용 파일에 수정된 프로그램이 필요한 이유다.

TV 박스에서는 모델 밖에서 램을 차지하는 요소도 줄였다. 개발자가 설명한 ‘헤드리스’ 모드는 모델이 실행되는 동안 런처와 구글(Google) 서비스를 중지한다. 모델 파일만 가볍게 만들어서는 확보하기 어려운 메모리를 기기 운영 방식에서 찾은 셈이다. 램이 약 1GB인 환경에서는 모델에 배정할 수 있는 공간 자체가 실행 조건을 좌우한다.

두 방법은 서로 다른 자원을 겨냥한다. 출력 행 제거는 모델이 차지하는 메모리를 줄이고, 서비스 중지는 같은 기기에서 모델과 경쟁하는 프로그램을 멈춘다. 개발자는 이 변경을 칩별 커널, 플래시 읽기 방식과 함께 적용했다. 어느 한 가지 비법보다 여러 제약을 동시에 낮추는 설계가 프로젝트의 중심이다.

필요한 전문가만 플래시에서 호출

큰 모델을 작은 램에서 실행하는 핵심은 혼합 전문가 모델(MoE·입력에 따라 일부 연산 부분만 선택해 쓰는 모델)의 구조를 활용하는 데 있다. 이런 모델은 매 토큰을 처리할 때 모든 ‘전문가’를 사용하지 않는다. 스몰맥싱은 자주 쓰는 전문가를 램에 남기고, 나머지는 필요해질 때 플래시 저장장치에서 읽는다. 다음 계층에 필요할 데이터를 미리 가져오는 방식도 쓴다.

이 설계에서 모델의 전체 크기와 한순간에 램에 있어야 하는 데이터의 크기는 다르다. 개발자는 이 차이를 활용해 TV 박스와 아이패드에서 8B·16B 모델을, 휴대전화에서 35B·80B 모델을 실행했다고 설명한다. 다만 플래시에서 읽어야 하는 부분이 생기므로, 실행 가능 여부만큼 실제 생성 속도도 중요해진다. 프로젝트가 기기에서 잰 결과를 함께 공개하는 이유다.

전문가를 플래시에서 불러오는 기능은 모델 파일과 추론 프로그램의 역할도 갈라놓는다. 휴대전화용 모델 파일은 다른 환경에서도 읽을 수 있지만, 개발자가 보고한 속도를 내려면 수정된 라마.cpp의 전문가 페이저(필요한 전문가 데이터를 불러오는 기능)가 필요하다. 파일을 열 수 있다는 것과 같은 방식으로 빠르게 실행할 수 있다는 것은 별개다. 반면 출력 행을 제거한 TV 박스·아이패드용 파일은 파일을 읽는 단계부터 패치가 필요하다.

램보다 큰 밀집 모델까지 읽기

스몰맥싱은 혼합 전문가 모델만 대상으로 삼지 않는다. 개발자는 램보다 큰 밀집 모델(계산할 때 모델의 연산 부분을 폭넓게 사용하는 구조)을 위한 스트리밍 방식도 마련했다고 밝혔다. 저장장치에서 데이터를 계속 읽어 들이며, 플래시가 낼 수 있는 속도를 활용하는 데 초점을 맞췄다. 전문가 일부만 선택하는 방식과는 다른 조건에서 같은 ‘모델이 램보다 큰’ 문제를 다루는 것이다.

개발자는 플래시 스트리밍을 리눅스(Linux)나 안드로이드 기기에 적용할 수 있다고 설명한다. 모델 파일이 램보다 크더라도 저장장치에서 필요한 데이터를 공급하는 구조이기 때문이다. 실제로 어느 정도 속도가 나오는지는 저장장치와 기기별 측정 결과를 봐야 한다. 이 프로젝트가 커널, 메모리 절약, 데이터 읽기 방식을 나눠 기록한 것은 서로 다른 병목을 구별하기 위해서다.

이 대목에서 오래된 기기는 단순한 구동 시연용 물건이 아니다. CPU가 처리할 수 있는 연산 형태, 비워 낼 수 있는 램, 플래시에서 읽는 속도가 모두 모델 선택에 영향을 준다. 개발자는 각 기기에 맞는 커널과 실행 방식을 탐색하는 작업으로 프로젝트를 소개한다. 한 모델을 모든 기기에 똑같이 올리는 방식과는 거리가 있다.

모델 파일과 재현 경로 공개

가장 빠른 시작 방법으로 개발자는 허깅페이스(Hugging Face)에 올린 모델 파일을 제시했다. TV 박스 또는 다른 ARMv8.2 안드로이드 기기용 설치 문서와, iOS 12에서 탈옥한 아이패드용 문서를 따로 제공한다. 아이패드에는 탈옥 도구 아메시스트(Amethyst)를 사용했다고 명시했다. 준비된 파일을 받더라도 기기 조건과 필요한 라마.cpp 패치를 함께 확인해야 하는 구성이다.

휴대전화 안내에는 램 8GB 안드로이드 기기가 제시돼 있다. 공개된 파일 크기는 Qwen3.6-35B-A3B가 12.3GB, Qwen3-Next-80B-A3B가 27.6GB이며 후자는 두 파일로 나뉜다. 파일 크기가 휴대전화에서 남는 램 약 3GB보다 훨씬 크다는 사실이, 필요한 부분만 메모리에 두는 방식을 보여 준다. 저장소에는 모델 파일을 다시 만드는 방법도 별도 문서로 정리돼 있다.

프로젝트는 다른 기기에서 모델을 돌려 보고 측정치를 제출해 달라고 요청한다. 코드는 MIT 라이선스로 공개했으며, 라마.cpp 패치는 같은 라이선스의 파생 작업이라고 설명한다. 모델 가중치에는 각각의 라이선스가 적용되고, 평가에 사용한 텍스트는 위키백과 발췌문이라고 밝혔다. 결과를 더 쌓으려면 실행 방법뿐 아니라 무엇을 측정했는지도 공유해야 한다는 방향이다.

커뮤니티 의견

한 사용자는 최근의 AI 에이전트라면 오래된 기기용 추론 프로그램을 한 번의 지시로 작성할 수 있다고 주장했다. 컴파일러를 구하고 구현·최적화·시험을 진행하는 일까지 맡길 수 있으므로, 어려운 것은 오히려 하드웨어 확보와 접속 권한을 주는 일이라는 견해다. 이에 프로젝트 개발자는 AI 모델을 적극 활용한다면서도, 어떤 기기에서 어떤 모델과 커널이 효과적인지 찾기까지 약 107회와 50여 회의 실험을 거쳤다고 답했다. 초점은 코드를 한 번 생성하는 데보다 큰 선택지 속에서 좋은 조합을 찾는 데 있다는 설명이다.

프로젝트 개발자는 또 토론에서 1세대 아이패드 에어와 샤오미(Xiaomi) TV 박스의 사용 가능 메모리가 모두 1GB 미만이며, 16B 모델까지 실행했다고 소개했다. 커널과 결과, 수정한 모델을 공개해 다른 사람도 재현하고 기록을 넓히길 바란다고 했다. 더 까다로운 기기를 추천해 달라는 요청에는 화면 달린 전자담배를 거론하는 농담과 초기 라즈베리 파이(Raspberry Pi)를 제안하는 답변이 달렸다. ESP32는 램이 너무 작을 수 있다는 의견도 있었다.

작은 모델 자체의 발전을 강조하는 사용자도 있었다. 한 사람은 과거 0.5B 모델로 대화형 캐릭터를 만들었지만 추론과 수학에는 한계가 있었고, 이제는 자신이 학습한 650만 매개변수 모델을 브라우저에서 실행한다고 소개했다. 그는 이 모델이 다단계 수학 문제와 도구 호출 등을 수행하며, 패키지 크기는 약 30MB이고 지연 시간은 10밀리초 미만이라고 주장했다. 다른 사용자는 그 모델을 처음부터 학습했는지, 기존 모델에서 증류했는지와 학습 데이터 구성이 무엇인지 물었다.

반대로 작은 기기에서 모델을 돌리는 일이 실제로 얼마나 쓸모 있는지 묻는 의견도 나왔다. 모델이 실용적인 작업을 해낼 만큼 똑똑한지, 사람들이 무엇에 사용하는지가 궁금하다는 것이다. 답글에는 도구 사용이나 간단한 질문에서도 결과가 형편없다는 비판이 있었다. 또 다른 사용자는 현재의 유용성과 별개로, 큰 기업이 주도하지 않을 자원 절약 연구를 커뮤니티가 이어 갈 가치가 있다고 맞섰다.

실험 대상을 더 낯선 하드웨어로 넓혀 보자는 제안도 있었다. 한 사용자는 중고 부품으로 떠도는 제온 파이(Xeon Phi) 카드나 비교적 오래된 IBM i를 언어 모델 가속에 활용할 수 있을지 궁금해했다. 행렬 계산을 할 수 있는 장치를 찾아보는 시도라는 점에서 프로젝트의 장치 탐색과 닿아 있다. 다만 해당 댓글은 실행 결과가 아니라 검토해 볼 후보를 제시한 것이다.

비슷한 방향의 다른 작업으로, 한 사용자는 저사양 휴대전화의 브라우저에서 작동하는 실시간 음성 인식 모델을 개발 중이라고 소개했다. 그는 자신이 시험한 오래된 휴대전화에서 작동했고 단어 오류율이 약 5라고 밝혔다. 답글에서는 지원 언어와 저대역폭·저음질 무전 녹음에도 맞는 모델이 있는지를 물었다. 작은 기기의 자원을 쓰려는 관심이 텍스트 생성 밖에도 이어진다는 사례다.

휴대전화 성능에 관한 후속 수치도 댓글로 올라왔다. 프로젝트 개발자는 Qwen3.6-35B-A3B에서 초당 4.9~5.7토큰, Qwen3-Next-80B-A3B에서 초당 2.8토큰을 기록했다고 밝혔다. 두 모델 모두 초당 10토큰을 목표로 한다고 덧붙였다. 이는 큰 모델의 구동 성공을 넘어 응답 속도를 끌어올리는 일이 다음 과제임을 보여 준다.

오래된 그래픽카드를 가진 한 사용자는 작은 모델을 에이전트 작업에 써 봤지만 결과가 엇갈렸다고 말했다. 다만 이전에는 도구가 읽을 수 없는 출력을 내던 모델들이 도구 호출에서는 나아지고 있다며, 낡은 하드웨어의 한계를 시험하는 재미를 언급했다. 이에 프로젝트 개발자는 모델 가중치를 저장장치에서 읽는 방식과 압축을 살펴보라고 권했다. 작은 기기에서 얻은 발상이 다른 구형 하드웨어에도 이어질 수 있다는 대화다.

핵심통찰

스몰맥싱이 바꾸는 것은 ‘이 기기에는 모델이 너무 크다’는 판단의 기준이다. 모델 파일 크기만 볼 것이 아니라, 한 토큰을 처리할 때 필요한 부분을 어디에 두고 얼마나 빨리 읽을 수 있는지 따져야 한다. 다만 실행 성공이 곧 쓸 만한 답변을 뜻하지는 않는다. 앞으로 지켜볼 것은 새 기기의 최대 모델 크기보다 기기별 생성 속도, 답변 능력, 그리고 공개된 방법을 다른 사람이 재현할 수 있는지다.


원본: GitHub - hyperionaidev/smolmaxxing: maxxing the ability to run different LLMs on the smallest devices possible

토론: Hacker News