1450억 매개변수 AI, 노트북에서 어디까지 돌릴까

에지제로(Edge0)가 1450억 매개변수 AI 모델을 개인용 컴퓨터에서 실행할 수 있다며 모델과 추론 도구를 공개했다. 회사가 내세운 에지제로-145B(Edge0-145B)의 강점은 단순히 큰 모델을 노트북에 올렸다는 데 그치지 않는다. 코딩과 추론, 도구 사용을 엮은 긴 작업을 클라우드 호출 없이 처리할 수 있다는 주장이다. 다만 ‘로컬 실행’이 실제로 어느 정도의 메모리와 하드웨어를 요구하는지, 공개된 결과를 사용자가 재현할 수 있는지가 이번 발표의 핵심이다.

핵심요약

  • 에지제로는 에지제로-145B와 에지제로-120B(Edge0-120B)의 가중치와 추론 도구를 공개하며, 복잡한 AI 작업을 기기 안에서 처리하는 범위를 넓히겠다고 밝혔다.
  • 회사는 에지제로-145B가 노트북에서 초당 80개 이상의 토큰을 생성하고 최대 메모리 사용량은 약 28~29GB라고 제시했지만, 이는 자체 측정 결과다.
  • 전문가 64개가 큰 행렬을 공유하고 GPU·시스템 메모리·SSD가 데이터를 나눠 맡는 설계는 큰 모델의 메모리 부담을 줄이는 핵심 장치다.
  • 코딩·추론 평가와 블렌더 작업 사례는 로컬 에이전트의 가능성을 보여 주지만, 커뮤니티에서는 결과물의 수정 용이성과 실행 환경을 확인하려는 목소리가 나왔다.
  • 클라우드 토큰 요금 없이 작업을 반복할 수 있다는 점이 장점인 반면, 145B 모델을 실행할 만한 컴퓨터가 얼마나 보편적인지는 별개의 문제다.

작은 기기에 갇혀 있던 로컬 AI

기기 안에서 AI를 돌릴 때 가장 먼저 부딪히는 한계는 메모리다. 에지제로는 2026년 9월 이전까지 온디바이스 모델 대부분이 100억 매개변수 미만이었다고 설명한다. 회사가 비교 대상으로 든 애플 인텔리전스(Apple Intelligence)의 기기 내 기반 모델은 약 30억 매개변수이며, 구글(Google)의 제미나이 나노(Gemini Nano)는 18억·32억5000만 매개변수 버전으로 소개됐다. 70억 매개변수 모델조차 메모리 약 4GB를 쓸 수 있어, 모델을 키우면 운영체제와 다른 앱이 쓸 공간까지 압박한다.

모델을 작게 만들면 실행은 쉬워지지만 복잡한 작업을 처리하는 능력이 부족해질 수 있다. 반대로 클라우드에 맡기면 모델 이용료와 데이터 처리 조건, 인터넷 연결 의존성이 생긴다. 에지제로가 제기한 질문은 이 둘 중 하나를 고르는 대신, 큰 모델의 저장량과 데이터 이동량을 줄여 개인용 컴퓨터에서 계속 일하게 할 수 있느냐다.

1450억 매개변수를 나눠 쓰는 설계

에지제로-145B는 전체 매개변수가 1450억 개지만, 회사 설명에 따르면 추론의 각 단계에서 계산에 참여하는 매개변수는 약 100억 개다. 핵심은 여러 ‘전문가’가 큰 행렬을 따로 갖지 않고 공유하는 구조다. 전문가 64개가 큰 행렬 두 개를 함께 쓰고, 각 전문가는 자신을 구분하는 작은 매개변수 집합을 남긴다. 회사는 이를 통해 전문가 수를 유지하면서 저장하거나 옮겨야 하는 가중치를 줄였다고 설명한다.

모델을 만든 뒤 억지로 압축해 기기에 맞추는 방식도 피했다. 에지제로는 학습을 시작할 때부터 로컬 실행을 염두에 둔 구조를 사용했다고 밝혔다. 모델의 구성과 실행 소프트웨어를 함께 설계해야 메모리, 대역폭, 전력 소비를 한꺼번에 다룰 수 있다는 판단이다. 매개변수 총수가 곧 매 순간 필요한 연산량이나 상주 메모리를 뜻하지 않는 이유이기도 하다.

GPU·메모리·SSD를 잇는 추론 엔진

실행할 때는 GPU 메모리, 시스템 메모리, SSD를 단계별 저장 공간으로 활용한다. 자주 쓰는 전문가 부분은 GPU 메모리에 남겨 두고, 약 40GB 규모의 전문가 라이브러리는 시스템 메모리에 둔 뒤 필요할 때 불러온다. 약 48GB의 어휘 데이터는 SSD에서 요청에 따라 읽는다. 읽기와 계산을 겹쳐 진행해 데이터가 모두 도착할 때까지 순서대로 기다리는 시간을 줄이는 방식이다.

GPU가 보관 중인 전문가를 계산하는 동안 CPU도 나머지 작업을 병렬로 처리한다. 추측 디코딩(다음 토큰 후보 여러 개를 한꺼번에 검증하는 방식)으로 가중치를 읽는 비용을 여러 출력 토큰에 나누기도 한다. 에지제로는 이 조합으로 노트북에서 초당 80개 이상의 토큰을 생성했다고 밝혔다. 발표에는 최대 메모리 사용량이 약 28GB인 노트북 비교와 29GB인 성능 비교가 각각 제시돼 있어, 실행 조건과 함께 읽어야 한다.

코딩 점수와 48GB 노트북 비교

에지제로가 공개한 자체 평가에서 에지제로-145B는 코딩 평가인 딥스위 1.1(DeepSWE 1.1)에서 64.6점을 받았다. 회사가 비교한 쿠웬(Qwen)3.8-Flash-Next의 58.7점, 딥시크(DeepSeek)-V4-Flash-0731의 54.4점보다 높다. 전문 지식·추론 평가인 GPQA-Diamond에서는 90.4점으로 딥시크의 90.8점과 클로드(Claude)-Opus-4.6의 91.3점에 가까웠다. 지시 이행 평가인 IFBench에서는 80.6점을 기록했다고 밝혔다.

여섯 개 평가의 평균은 에지제로-145B가 72.8점, 쿠웬3.8-Flash-Next가 71.7점이다. 메모리 비교에서는 전자가 내부 측정 최대 29GB인 반면, 후자는 일반적인 4비트 방식으로 실행했을 때 약 70GB가 필요할 것으로 추정했다. 회사는 이를 근거로 에지제로-145B를 메모리 48GB 노트북에서 쓸 수 있다고 설명한다. 다만 한쪽은 측정값이고 다른 쪽은 추정값이며, 점수 역시 명시된 모델과 평가 조건 사이의 비교다.

코드를 쓰고 화면을 확인하는 로컬 에이전트

에지제로가 강조하는 활용법은 질문 한 번에 답하고 끝나는 채팅보다 긴 작업에 가깝다. 자연어로 요청하면 모델이 단계를 계획하고 코드를 작성한 뒤 도구를 호출해 실행한다는 설명이다. 오류가 나면 코드를 고치고, 화면을 캡처해 결과를 살펴본 뒤 다시 수정하는 과정을 여러 차례 반복한다. 이런 반복이 로컬에서 이뤄지면 그에 따른 클라우드 모델의 토큰·API 요금은 발생하지 않는다.

시연 사례로는 테슬라(Tesla) 로드스터(Roadster)가 비행할 수 있는 원리를 설명하는 영상을 한 시간 안에 만든 작업이 제시됐다. 회사는 조사와 대본, 소재 제작, 편집을 모델이 맡았으며 클라우드 모델을 호출하지 않았다고 밝혔다. 블렌더(Blender)에서는 참고 이미지와 글을 바탕으로 맨해튼 3D 장면을 만들고 재질·조명을 조정하며 렌더링 결과를 확인했다. 이 작업 역시 회사 설명상 한 시간 안에 완료됐다.

게임 도시에서 드론·회로 기판까지

게임 개발 시연에서는 판타지 RPG용 중세 도시를 블렌더로 만들고 20초짜리 카메라 이동 영상을 렌더링했다. 도시에는 성벽과 1000채가 넘는 구시가지 주택, 광장 분수와 성당 형태의 건물이 포함됐다. 고정된 카메라 경로에서 형태가 겹치거나 비율이 어긋나는 문제가 드러나면 모델이 렌더링을 살펴보고 수정했다는 것이 회사의 설명이다. 결과를 한 번 생성하는 능력보다, 도구 안에서 오류를 발견하고 되돌아가 고치는 능력을 보여 주려는 사례다.

실물 장치를 다룬 사례도 있다. 에지제로는 장애물을 지나 빨간 배낭을 찾으라는 지시만으로 드론의 비행 제어·시각 인식 프로그램을 로컬에서 작성했다고 밝혔다. 또 키캐드(KiCad)에서 2층 회로 기판을 설계하고, 그 결과를 언리얼 엔진 5(Unreal Engine 5)로 옮겨 제작·조립 애니메이션을 만들었다. 회사는 설계도와 기판 배치 정보를 클라우드 모델에 올리지 않아도 된다는 점을 이 작업의 장점으로 꼽았다.

공개 범위와 남아 있는 클라우드의 몫

이번 공개에는 두 모델의 가중치뿐 아니라 추론 프레임워크와 배포 도구가 포함된다. 에지제로는 macOS·윈도·리눅스와 애플 M 시리즈, 엔비디아(NVIDIA)의 여러 GPU를 출시 첫날 지원 대상으로 제시했다. 앱은 계정이나 사용량 제한 없이 핵심 모델 기능을 오프라인에서 쓸 수 있다고 안내한다. 다만 회사가 제시한 폭넓은 기기 지원 수치는 전체 모델 제품군에 관한 것으로, 모든 기기에서 145B 모델이 실행된다는 뜻은 아니다.

에지제로가 그리는 변화는 클라우드의 퇴장이 아니라 역할 조정이다. 앞서 공개한 에지제로-35B(Edge0-35B)는 아이폰 18 프로 맥스에서 약 2.5GB의 메모리로 초당 37개 이상의 토큰을 생성했다고 회사는 밝혔다. 145B 모델은 그보다 훨씬 큰 모델을 적합한 노트북으로 옮겨, 코딩 같은 복잡한 작업도 로컬에서 먼저 처리할 선택지를 제시한다. 연산 능력·발열·배터리 제약이 큰 기기나 최신 정보 검색, 기기 간 장기 기억이 필요한 작업에는 여전히 작은 모델 또는 클라우드 서비스가 필요하다.

커뮤니티 의견

한 사용자는 에지제로-145B가 별도의 새 모델이라기보다 쿠웬3.8-Flash-Next를 양자화(가중치를 낮은 정밀도로 표현해 크기를 줄이는 방식)하고 다른 실행 도구로 포장한 결과인지 물었다. 비슷한 인상을 받았다는 답글이 달린 한편, 그렇다면 발표된 평가에서 원래 모델보다 높은 점수가 나온 이유를 설명해야 한다는 반문도 이어졌다. 모델의 이름보다 기반 모델과 추가 작업의 범위를 확인하고 싶다는 관심이다.

다른 사용자는 블렌더 시연을 보며, 도구 사용이 사람이 며칠 걸릴 만한 작업까지 확장된 점에 놀랐다고 했다. 그러나 사람이 나중에 재질을 바꾸거나 형태를 다듬으려 할 때 결과물이 깔끔하게 편집될지는 의문을 제기했다. 회로 기판 배치 사례를 언급한 답글도 처음 보기에는 좋아도 부품이 빽빽해지면 배치나 부품 선택부터 다시 손봐야 할 수 있다고 지적했다.

메모리 수치에 주목한 사용자는 전문가 간 행렬 공유와 최대 29GB 사용량이 고사양 맥북 프로에서 실행할 수 있는 길을 연다고 평가했다. 답글에서는 발표가 맥 지원을 말하면서도 실제 맥 실행 안내를 찾기 어렵다는 지적이 나왔다. 또 다른 사용자는 모델 전체가 29GB 안에 들어간다는 뜻인지, 일부 데이터를 다른 저장 공간에서 읽어 오는 것인지 구별해야 한다고 물었다.

쿠웬 모델을 이미 로컬에서 사용한다는 사용자는 이번 모델이 그 기반을 개선한 것이라면 직접 시험해 보고 싶다고 했다. 답글에서는 모델 공개 페이지에 쿠웬3.8-Flash-Next가 기반 모델로 표시돼 있다는 점을 근거로 들었다. 이어 배포 형식이 엔비디아용 NVFP4에 치우친 것 아니냐는 우려와, q3k 버전도 공개돼 있다는 반론이 나왔다. 관심은 모델 가중치의 존재에서 실제 실행 파일과 안내의 완성도로 옮겨갔다.

‘개인용 노트북’이라는 표현을 두고는 필요한 사양이 일반 사용자에게 얼마나 현실적인지 묻는 의견이 있었다. 한 사용자는 개인용 고용량 메모리 기기를 쓴다고 했지만, 다른 사용자는 자신과 주변의 노트북이 16GB 메모리에 머문다고 답했다. 48GB급 노트북에서 실행 가능하다는 주장과 많은 사람이 가진 컴퓨터에서 실행 가능하다는 주장은 다르다는 지적이다.

최적화가 발전하면 앞으로는 더 작은 특화 모델이 더 많은 일을 맡을 수 있다는 기대도 나왔다. 이에 다른 사용자는 큰 모델과 작은 모델이 서로 다른 용도로 계속 출시돼 왔다며, 한쪽이 다른 쪽을 대체하는 흐름으로 볼 필요는 없다고 반박했다. 모델 자체뿐 아니라 작업 중 불필요해진 문맥을 덜어내고 잘못된 도구 호출을 고치는 실행 도구가 작은 로컬 모델의 성능을 끌어올린다는 의견도 있었다.

실행 조건을 따지는 사용자는 총 메모리와 별개로 최소 GPU 메모리가 얼마인지 찾지 못했다고 했다. 반면 터미널 도구를 많이 쓰는 코딩 에이전트에서는 터미널벤치(Terminal-Bench) 점수가 실제 성능을 가늠하는 데 도움이 된다며 평가해 볼 만하다는 의견도 나왔다. 앞선 질문은 실행 가능성을, 뒤의 평가는 실행했을 때의 쓸모를 확인하려는 관점이다.

또 다른 사용자는 공개 가중치 모델 시장에서 이런 출시가 이어지는 흐름 자체에 관심을 보였다. 답글에서는 이번 모델의 기반이 쿠웬이라면 이를 별개의 경쟁 모델로 해석하는 데 주의가 필요하다고 맞섰다. 이전에 공개된 35B 모델을 iOS 기기에서 써 볼 앱이 있는지 묻는 의견도 나와, 발표된 성능을 손에 든 기기에서 확인하려는 수요를 드러냈다.

핵심통찰

에지제로-145B가 바꾸려는 것은 ‘큰 모델은 클라우드에서만 쓴다’는 작업 방식이다. 모델 구조와 추론 엔진을 함께 설계해 반복적인 코딩·시각 작업을 노트북에 남길 수 있다면, 이용자는 토큰 요금뿐 아니라 코드와 설계 데이터를 어디에 둘지도 새로 선택할 수 있다. 다음에 확인할 것은 최고 점수 하나가 아니다. 기반 모델과 추가 학습의 범위, 맥을 포함한 실행 절차, GPU 메모리 요구량, 그리고 사람이 이어서 수정할 수 있는 결과물이 공개된 도구로 재현되는지가 관건이다.


원본: Edge0-145B: Open-Source On-Device AI with 145B Parameters

토론: Hacker News