제프(Jeff)는 상황과 선택지를 글로 입력하면 약 30밀리초 안에 각 선택지의 확률을 돌려주는 소형 결정 모델이다. 개발자는 큐원(Qwen) 3.5와 젬마(Gemma) 4를 미세조정해 이 모델을 만들고, 학습부터 테스트까지 로컬 장비에서 진행했다고 밝혔다. 생성형 AI에 답변을 쓰게 한 뒤 다시 해석하는 대신 한 번의 계산으로 결정을 내리는 방식이다. 다만 공개 벤치마크에서 거둔 성적만큼 실제 업무의 분류 작업에서도 정확할지는 별개의 문제다.
핵심 요약
- 제프는 제브(Jev)와 같은 요청 형식으로 선택지별 확률을 반환해, 생성된 문장을 파싱하지 않고 코드에서 결정을 활용할 수 있게 한다.
- 큐원 3.5 기반 0.8B 모델은 RTX PRO 6000에서 결정당 약 22밀리초, 애플(Apple) M4 맥스에서 약 28밀리초가 걸렸지만 복잡한 추론은 큰 모델보다 약하다.
- 개발자는 GPU 한 장으로 모델을 학습하고 로컬에서 합성 데이터를 만들었으며, 음성 탐색 사례에서는 추가 미세조정으로 별도 검증 정확도를 31.7%에서 95.8%로 높였다.
- 1.1판 큐원 모델은 선택지 한도를 26개에서 254개로 늘렸지만, 2B 모델의 전체 벤치마크 점수는 83.1%에서 82.0%로 내려갔다.
- 토론에서는 로컬 실행과 맞춤 학습을 반기는 의견과 함께, 단순 분류기보다 나은지 또는 실제 업무에서 충분히 정확한지를 묻는 의견이 나왔다.
문장을 생성하지 않는 결정 API
제프는 큐원 3.5와 젬마 4를 미세조정한 분류 모델이다. 사용자가 상황을 설명하고 가능한 답을 자연어로 나열하면, 모델은 문장을 생성하는 대신 한 번의 순전파(입력을 모델에 한 차례 통과시키는 계산)로 선택지마다 확률을 낸다. 특정 분류명을 학습 과정에서 보지 않았더라도 설명을 읽고 고르는 제로샷(해당 항목의 학습 예시 없이 처리하는 방식)을 목표로 한다. 고객 문의 배정, 사용자 의도 파악, 콘텐츠 관리, 음성 명령, 게임 행동 선택이 개발자가 든 활용 사례다.
요청 형식은 타입세이프(TypeSafe)의 제브와 같지만, 개발자는 제프가 타입세이프와 무관한 독립 프로젝트라고 명시했다. 고객이 망가진 택배를 받고 환불을 요청한 예시에서는 담당 팀을 고르는 질문과 고객이 화났는지를 묻는 질문을 한 요청에 담는다. 서버는 선택지별 확률과 최종 선택, 신뢰도를 반환하며, 서로 독립적인 여러 질문도 함께 처리한다. 질문 방식에는 선택지 중 하나를 고르는 유형, 예·아니요 확률을 내는 유형, 사용자가 설명한 척도에서 점수를 고르는 유형이 있다.
GPU 한 장과 로컬 합성 데이터
개발자는 학습에 RTX PRO 6000 워크스테이션 GPU 한 장을 썼다고 밝혔다. 0.8B 모델 학습에는 약 2시간, 2B에는 약 3시간 반이 걸렸고, 합성 학습 데이터는 DGX 스파크 두 대에서 실행한 공개 모델 큐원 3.8 플래시 넥스트가 작성했다. 테스트에는 맥북을 사용했다. 클라우드 GPU를 쓰지 않았으며, 비공개 모델은 합성 데이터 일부의 품질을 표본 확인하는 데만 이용했다고 설명했다.
제프의 출발점은 오토제브(AutoJev)의 공개 학습 방식이다. 개발자는 결정마다 한 번만 순전파하고 학습된 출력부로 답을 읽어낸 뒤, 확률 보정(예측 확률이 실제 적중 빈도와 가깝도록 조정하는 작업)을 적용하는 설계를 유지했다. 여기에 소형 모델과 로컬 합성 데이터 생성 과정, 학습 데이터가 평가 항목과 겹치는지 확인하는 필터, 애플 실리콘용 MLX 실행 환경을 더했다. 제브의 동작을 그대로 구현했다고 주장하기보다, 같은 요청 형식으로 쓸 수 있는 작은 모델을 공개한 셈이다.
공개 성적표의 강점과 빈틈
평가는 공개 벤치마크 다섯 종의 질문 4,599개로 진행했고, 제브벤치(JevBench)의 어려운 문제 105개는 따로 채점했다. 개발자는 분류와 근거 연결 과제에서 제프가 더 큰 모델과 비슷하거나 앞섰지만, 추론 비중이 큰 BBH·저지벤치(JudgeBench)·제브벤치에서는 크게 뒤졌다고 설명했다. 0.8B~2B 규모에서 빠른 선택은 기대할 수 있어도 여러 단계를 거치는 사고까지 맡길 수는 없다는 구분이다. 공개된 제브와 오토제브 성적은 같은 벤치마크의 다른 표본에서 측정됐으므로, 표의 숫자는 완전히 동일한 문제로 일대일 비교한 결과가 아니다.
속도 역시 작업 조건을 함께 봐야 한다. 개발자가 약 200토큰 길이의 벤치마크 질문 200개를 한 번에 하나씩 넣어 측정한 결정당 중앙값은 RTX PRO 6000에서 약 22밀리초, 애플 M4 맥스의 MLX 환경에서 약 28밀리초다. 입력 문장을 확률로 바꾸는 전 과정을 포함한 수치다. 짧은 선택 작업에 큰 모델의 긴 응답을 기다리지 않아도 된다는 것이 제프의 장점이지만, 속도가 곧 판단의 정확도를 보장하지는 않는다.
게임은 점수표와 다르게 움직였다
개발자는 벤치마크와 다른 입력에서도 작동하는지 보려고 제프에 프로거, 둠, 팩맨을 플레이시켰다. 매 턴 코드가 현재 상황과 가능한 행동을 글로 설명하고, 모델이 그중 하나를 고르는 방식이다. 선택지에는 ‘이쪽으로 움직이면 차에 치인다’처럼 행동의 결과가 적히지만 어느 행동이 정답인지는 적히지 않는다. 각 결과는 동일한 시드로 20회 플레이해 얻었으며, 개발자도 게임 상태가 일반적인 비정형 데이터와 달라 완벽한 제로샷 시험은 아니라고 봤다.
이 실험에서는 선택지를 어떻게 쓰느냐가 크게 작용했다. 프로거에서 목표 지점으로 향하는 행동을 다른 전진 행동과 같은 표현 방식으로 고치자, 한 회차의 도달 횟수가 15회에서 23회로 늘었다. 반대로 몇 턴 뒤 차가 올지를 예측하게 하면 무작위 선택보다 나아지지 않았다고 개발자는 설명했다. 0.8B 모델의 게임 내 결정은 M4 맥스에서 행동당 29~49밀리초였고, 제브의 공개 둠 실행 기록은 API 호출당 212밀리초였지만 두 시간은 같은 하드웨어에서 측정한 값이 아니다.
모델 크기나 벤치마크 점수도 게임 실력으로 곧장 이어지지 않았다. 개발자에 따르면 제프 2B는 전체 평가 점수가 0.8B보다 높지만 게임에서는 오히려 더 못했고, 원래 모델부터 보였던 조심스러운 선택 성향이 학습 뒤 더 강해진 것으로 보인다. 미세조정 전 젬마 4 E2B는 벤치마크에서 큐원 모델보다 잘했지만 게임에서는 가장 불안정했다. 학습 후 팩맨에서 모은 먹이는 평균 3.2개에서 53.2개로 늘었으나, 둠과 프로거 성적은 같은 방식으로 개선되지 않았다.
체스와 음성 탐색에 맞춰 다시 학습
제로샷 성능이 부족하면 용도에 맞게 학습하는 방법도 제시했다. 개발자는 큐원 3.5 기반 제프 0.8B에 리체스(Lichess)의 체스 국면 60만 개를 스톡피시(Stockfish)로 표기해 약 3시간 반 동안 학습시켰다. 별도로 남겨둔 체스 퍼즐 1,000개로 평가한 이 모델은 탐색 없이 약 1,000엘로 수준이었고 스톡피시의 가장 약한 설정에도 졌다. 대신 수십 밀리초마다 한 수를 골라 GPU 한 장으로 사람의 블리츠 대국 약 600판을 동시에 따라갈 수 있다는 점을 보여줬다.
앱 전용 음성 탐색 예시는 정확도 개선의 폭을 보여준다. 약 1만1,000개의 맞춤 예시로 GPU 한 장에서 30분가량 미세조정하자, 별도 검증 데이터 정확도가 31.7%에서 95.8%로 올랐다. 이때 M4 맥스에서 결정당 시간은 약 40밀리초였다. 개발자가 강조하는 선택은 제로샷 결과를 무조건 받아들이는 것이 아니라, 필요한 정확도에 못 미치면 해당 작업의 예시로 모델을 다시 학습시키는 것이다.
추론은 코드로, 선택은 제프로
사용 지침에서 개발자는 제프를 계획 수립기가 아닌 분류기로 규정했다. 앞일을 추론하도록 맡기기보다 코드에서 상황과 행동의 결과를 계산하고, 제프에는 그 결과 사이의 선택을 맡기라는 뜻이다. 선택지의 표현도 일관되게 유지하고, 긴 식별자 대신 짧은 키와 구체적인 설명을 쓰도록 권한다. 서로 독립적인 질문은 한 요청에 묶을 수 있다.
모델은 영어 텍스트 입력만 다룬다. 개발자는 짧은 선택에는 0.8B를 권하면서, 2B가 벤치마크에서는 더 높은 점수를 얻어도 게임에서는 더 조심스럽고 결과가 나빴다고 적었다. 학습 방식은 모델 전체 가중치를 한 에포크(전체 학습 데이터를 한 번 훑는 단위) 동안 조정한 뒤 출력 확률에 보정값 하나를 적용하는 형태다. 코드와 모델 가중치는 공개했지만 학습 데이터 자체는 공개하지 않았으며, 코드에는 MIT, 가중치에는 아파치 2.0 라이선스를 적용했다.
254개 선택지로 넓힌 1.1판
9월 29일 공개된 1.1판은 큐원 기반 0.8B·2B 모델의 선택지 한도를 26개에서 254개로 늘렸다. 앞선 1.0판은 학습 질문에 선택지가 19개를 넘는 사례가 없어 26번째 뒤의 항목을 고르지 못하는 문제가 있었다. 개발자는 선택지 20~254개를 담은 학습 질문 3만2,000개를 추가했고, 긴 목록 테스트에서 0.8B의 정확도가 40.3%에서 94.7%로 올랐다고 밝혔다. 같은 테스트에서 2B는 95.2%를 기록했으며, 재학습하지 않은 젬마 4 E2B의 한도는 여전히 26개다.
개선에는 대가와 평가상의 변화도 있다. 0.8B의 전체 벤치마크 점수는 79.1%로 유지됐지만, 2B는 83.1%에서 82.0%로 내려가 공개된 제브의 83.0%보다 낮아졌다. 또 긴 목록 학습에 매시브(MASSIVE)와 클린크150(CLINC150)의 학습 분할을 사용했기 때문에, 두 데이터셋에 대해서는 더 이상 제로샷 결과라고 부를 수 없다. 제프의 1.1판은 목록이 길어질 때 드러난 결함을 고쳤지만, ‘빠르고 범용적인 선택기’라는 평가는 작업별 정확도와 학습 데이터의 범위를 함께 살펴야 한다.
커뮤니티 의견
한 사용자는 제브 형식의 API로 둠을 더 길게 플레이하는 별도 프로젝트를 소개하며, 처음 두 레벨을 끝까지 통과한다고 설명했다. 답글에서는 그 프로젝트가 화면 이미지 대신 의미를 정리한 상태 정보를 받는다는 점을 짚었다. 무엇을 모델에 입력했는지가 게임 시연의 난도를 바꾼다는 문제 제기다.
다른 사용자는 분류 작업에 굳이 미세조정한 언어 모델이 필요한지 물었다. 댓글에서는 임베딩 모델(문장을 수치 벡터로 바꾸는 모델)에 간단한 다층 퍼셉트론을 붙이는 방식만으로도 많은 텍스트 분류 문제를 해결할 수 있다는 경험담이 나왔다. 제프의 비교 대상이 제브뿐 아니라 더 단순한 분류 방식이어야 한다는 관점이다.
상업용 LLM 사용량 중 분류가 얼마나 차지하는지 궁금하다는 의견도 있었다. 이에 한 사용자는 자신의 경험상 분류에는 대체로 가볍고 저렴한 모델을 쓰며, 현재 사용량의 큰 부분은 코딩일 것이라고 답했다. 제프가 유용하더라도 큰 모델 사용량을 얼마나 대체할지는 분류 작업의 실제 비중에 달렸다는 주장이다.
실제 정확도에 대한 반론은 더 직접적이었다. 한 사용자는 자신의 작업에서 제프가 약 70%, 제브가 약 94% 정확도를 보여 분류에 쓰기 어렵다고 했다. 이어 채용 공고의 업종, 근무 형태, 고용 유형을 나누는 작업에서 0.8B는 쓸모가 없었고 2B도 고용 유형을 놓쳤다고 설명했다. 답글에서는 그 작업의 예시로 미세조정했는지를 물으며, 공개 가중치 모델로 맞춤 대안을 만들 수 있다는 점이 프로젝트의 취지라고 맞섰다.
간단한 파일 분류기를 제프로 만들었는데 잘 작동한다는 사용자도 있었다. 반면 제브의 구현 세부 사항을 얼마나 알고 있는지 묻는 의견은 ‘제브와 호환된다’는 설명과 내부 구조를 재현했다는 주장을 구별하게 한다. 두 반응 모두 제프를 평가할 때 데모의 인상보다 구체적인 작업과 구현 범위를 봐야 한다는 쪽에 가깝다.
제브 같은 기능이 언젠가 모든 최상위 모델에 들어가지 않겠느냐는 질문에는, 로컬에서 실행할 수 있으므로 그럴 필요가 없다는 답이 달렸다. 다른 사용자는 이전에도 분류기로 사용된 모델들이 있었다고 지적했다. 기능의 참신함보다 필요한 장소에서 낮은 비용으로 실행할 수 있는지가 중요하다는 의견이다.
모델 방식 자체를 둘러싼 질문도 나왔다. 한 사용자는 제브가 생성 모델이 아닌 듯한데 왜 유사 프로젝트가 생성형 모델을 미세조정하는지 의아해했다. 답글에서는 문장을 차례로 생성하는 방식과 생성 모델이라는 분류를 혼동했을 수 있다며, 입력 전체에서 하나의 벡터를 내는 인코더 방식일 가능성을 거론했다. 다만 이는 댓글에서 제기된 기술적 해석이지, 제브의 공개된 내부 설계 설명은 아니다.
마지막으로 한 사용자는 0.8B 모델의 호출 시간이 아니라 단순한 규칙과 판단이 엇갈리는 지점이 더 흥미롭다고 했다. 규칙만으로 처리하기 쉬운 입력이라면 모델의 빠른 응답 자체는 큰 이점이 아닐 수 있다는 뜻이다. 제프를 어디에 넣을지는 속도와 정확도뿐 아니라 기존 코드가 이미 잘 처리하는 범위를 확인한 뒤 정해야 한다는 문제 제기다.
핵심 통찰
제프가 바꾸는 것은 모든 판단을 더 작은 AI로 대체하는 일이 아니라, 코드가 마련한 선택지 사이에서 빠르게 확률을 얻는 방법이다. 1.1판의 긴 목록 개선과 음성 탐색 미세조정 사례는 작은 로컬 모델도 입력과 학습을 작업에 맞추면 실용성이 커질 수 있음을 보여준다. 동시에 채용 공고 분류의 반례와 게임 실험은 공개 점수나 지연시간만으로 도입을 결정하기 어렵다는 점을 드러낸다. 앞으로 볼 것은 같은 업무 데이터에서 단순한 규칙·분류 방식보다 얼마나 정확하고 안정적인지다.
원본: GitHub - firelex/jeff: Fine-tunes of Qwen3.5 and Gemma 4 for zero-shot classification
토론: Hacker News