세바스티안 라슈카(Sebastian Raschka)가 추론 모델을 직접 구현하며 배우는 8편짜리 영상 강좌를 공개했다. 총 11시간이 넘는 강의는 사전학습된 소형 언어 모델에서 출발해 답을 평가하고, 추론 단계의 계산을 늘리고, 강화학습과 증류로 모델을 개선하는 과정을 따라간다. 완성된 모델을 가져다 쓰는 법보다 내부 동작을 코드로 확인하는 데 초점을 맞춘 강좌다. 동시에 수학과 코드 실습에 많은 계산 자원이 필요하다는 인식 속에서, 개인 학습자가 어디까지 직접 해볼 수 있는지도 보여준다.
핵심요약
- 라슈카의 새 강좌는 파이썬(Python)과 파이토치(PyTorch)로 추론 모델의 평가·추론·학습 과정을 구현하는 8편, 11시간 이상의 영상으로 구성됐다.
- 사전학습된 큐원3(Qwen3) 0.6B에서 시작해 언어 모델 전체를 처음부터 학습하는 비용을 피하고 추론 기법에 집중한다.
- 수학 답안의 정오를 판별하는 검증기는 MATH-500 평가에 쓰인 뒤, 정답을 보상으로 삼는 강화학습에도 연결된다.
- 강좌는 모델 가중치를 바꾸지 않고 여러 답을 비교하는 방법과, 강화학습·증류로 가중치를 바꾸는 방법을 차례로 다룬다.
- 초기 생성·평가 실습은 CPU로도 가능하지만 뒤쪽 학습 실험에는 GPU가 더 실용적이어서, 따라 하기의 범위는 사용 가능한 장비에 따라 달라진다.
추론 모델은 에이전트의 엔진
라슈카는 추론 모델을 기존 대규모 언어 모델(LLM)에 추가 학습을 적용해 더 어려운 문제를 풀도록 만든 모델로 설명한다. 핵심 방법으로는 정답 여부를 확인할 수 있는 보상을 이용한 강화학습을 들고, 추론할 때 계산을 더 쓰는 기법도 함께 언급한다. 수학과 코드 문제에서 주로 개발돼 왔지만, 그렇게 얻은 능력이 다른 영역으로 이어질 수도 있다는 것이 그의 설명이다.
이 모델이 곧 에이전트 전체를 뜻하지는 않는다. 라슈카의 비유에서 언어 모델은 엔진이고, 에이전트 하네스(모델을 둘러싸고 문맥과 도구 사용을 관리하는 소프트웨어 틀)는 그 엔진을 활용하는 장치다. 하네스는 긴 작업의 맥락을 다루고 모델에 도구를 연결하며, 더 큰 코딩 작업이나 여행 예약 같은 과제를 수행하도록 돕는다. 일반 언어 모델도 에이전트의 엔진이 될 수 있지만, 라슈카는 능력이 더 높은 추론 모델을 사용하는 경우가 흔하다고 본다.
사전학습된 0.6B 모델에서 시작하는 이유
강좌는 언어 모델의 사전학습을 재현하지 않는다. 사전학습된 큐원3 0.6B 모델을 불러온 뒤 평가, 추론 시 계산량 확대, 강화학습, 증류를 직접 구현한다. 라슈카는 이렇게 출발점을 정해야 추론 모델을 만드는 방법 자체에 집중할 수 있다고 설명한다. 앞서 만든 언어 모델 입문 강좌와 이어지는 내용이지만, 이전 강좌를 반드시 마쳐야 하는 구성은 아니다.
필요한 사전 지식으로는 파이썬과 파이토치 사용 경험을 권한다. 초반의 텍스트 생성과 평가는 CPU에서도 따라 할 수 있고, 뒤로 갈수록 특히 학습 실험에서는 GPU를 쓰는 편이 훨씬 실용적이다. 첫 영상과 코드 저장소는 개발 환경과 하드웨어 선택도 안내한다. 따라서 ‘처음부터 만들기’는 거대한 모델을 처음부터 훈련한다는 뜻이 아니라, 준비된 모델 위에 추론·평가·학습 절차를 한 단계씩 구현한다는 뜻에 가깝다.
영상은 같은 주제의 책 《추론 모델 직접 만들기(Build a Reasoning Model (From Scratch))》와 짝을 이룬다. 라슈카는 책의 한 장을 읽고 해당 영상의 코드를 따라 친 다음 연습문제를 풀어보는 방식을 권한다. 개념만 먼저 살펴보고 싶다면 추론 시 계산량 확대와 강화학습, 증류를 설명하는 약 90분짜리 별도 강좌도 소개한다. 본편은 이보다 긴 시간을 들여 각 방법이 코드에서 어떻게 작동하는지 확인하도록 짜였다.
생성기를 만들고 정답 검증기를 붙이다
첫 영상은 일반 언어 모델, 추론 모델, 에이전트의 관계를 정리하고 개발 환경을 설치하는 데 쓴다. 파이썬 의존성 설치부터 CUDA나 애플 실리콘(Apple Silicon) 지원 확인, 원격 GPU 연결과 흔한 환경 문제까지 다룬다. 본격적인 구현은 둘째 영상에서 시작된다. 큐원3 0.6B의 사전학습 가중치를 불러와 텍스트를 토큰(모델이 처리하는 단위)으로 바꾸고, 다음 토큰을 예측해 문장을 생성한다.
여기에는 스트리밍 생성기와 KV 캐시(이전 계산의 키·값을 재사용하는 방식), 모델 컴파일도 들어간다. 생성 속도를 재고 하드웨어별 동작을 비교하는 이유는 뒤에서 개선할 기준선을 마련하기 위해서다. 셋째 영상은 수학 문제의 최종 답을 추출하고 표현을 정리한 뒤, 답들이 수학적으로 같은지를 확인하는 검증기를 만든다. 이 검증기로 MATH-500에서 모델을 평가하고, 이후 강화학습에서는 같은 판정 결과를 보상 신호로 활용한다.
이 순서는 추론 모델을 단순히 답변을 길게 쓰는 모델로 다루지 않게 한다. 먼저 답을 어떻게 생성하는지 확인하고, 다음으로 무엇을 맞힌 답으로 인정할지 정해야 개선 여부를 살필 수 있다. 특히 수학 답은 표기가 달라도 같은 값을 나타낼 수 있으므로 답 추출과 정규화가 평가 절차의 일부가 된다. 강좌는 이 검증 절차를 학습 단계까지 이어지는 공통 도구로 놓는다.
가중치는 그대로 두고 답을 여러 번 구하다
넷째와 다섯째 영상은 모델 가중치를 바꾸지 않은 채 추론에 더 많은 계산을 투입한다. 먼저 온도 조절, 확률에 따른 추출, 톱-p 필터링(확률이 높은 후보군에서 토큰을 고르는 방식)으로 같은 질문에서 서로 다른 답을 생성한다. 그런 다음 자기일관성(여러 답의 최종 결과를 다수결로 고르는 방식)을 적용한다. 후보를 더 많이 만들면 추가 계산이 드는 만큼, MATH-500의 정확도와 계산 비용을 함께 비교한다.
다음 단계에서는 다수결만으로 해결되지 않는 선택 문제를 다룬다. 여러 답에 점수를 매기고 동률을 가르기 위해 토큰과 답 전체의 로그 확률을 계산한다. 여기서 만든 확률 계산은 뒤쪽 강화학습 구현에도 다시 쓰인다. 모델이 자신의 답을 비판하고 수정안을 내는 자기개선 반복 절차도 구현한 뒤, 그 추가 과정이 이 작은 모델에 얼마나 도움이 되는지 평가한다.
두 영상의 공통 질문은 학습을 다시 하지 않고도 답을 더 잘 고를 수 있느냐다. 답 하나를 곧장 채택하는 대신 여러 후보를 만들거나 검토 단계를 추가하면 선택의 폭은 넓어진다. 하지만 매번 더 많은 생성을 요구하므로 무료로 얻는 개선은 아니다. 라슈카는 기법을 나열하는 데 그치지 않고, 평가 결과를 추가 계산량과 나란히 놓도록 구성했다.
검증 결과를 보상으로 바꿔 학습하다
여섯째 영상부터는 가중치를 실제로 업데이트한다. 라슈카는 검증 가능한 보상을 이용한 강화학습(RLVR)을 위해 그룹 상대 정책 최적화(GRPO)의 단순화된 형태를 구현한다. 하나의 문제에 여러 응답을 만들고, 앞서 만든 검증기로 점수를 매긴 뒤, 그룹 안에서 각 응답이 얻은 상대적 보상을 학습에 사용한다. 정답 판별용 코드가 평가 도구에서 학습 신호의 출처로 바뀌는 대목이다.
일곱째 영상은 만들어진 학습 반복 절차를 더 자세히 들여다본다. 응답 선택의 분포를 살피는 엔트로피와 상대적 보상 통계를 기록하고, 정책 변화의 폭을 제한하는 항과 기존 정책에서 멀어지는 정도를 다루는 KL 손실항을 추가한다. 보상 해킹(의도한 문제 해결 대신 보상 체계의 빈틈을 이용하는 현상)과 단순화된 KL 계산의 한계도 논의한다. 이어 학습 기록과 저장된 모델 상태를 MATH-500 평가와 함께 살펴보며, 추가한 장치가 실제로 도움이 되는지 확인한다.
이 부분에서 강좌의 초점은 ‘강화학습을 적용했다’는 선언보다 학습 중 일어나는 변화를 읽는 데 있다. 응답 길이와 문제 해결의 관계를 살피고, 학습 안정성과 메모리 사용량을 확인하며, 정답 여부에 맞춰 형식 보상을 주는 방법도 구현한다. 같은 검증기로 얻은 보상이라도 학습 절차를 어떻게 짜고 관찰하느냐에 따라 해석할 항목이 늘어난다. 작은 모델을 대상으로 하기에 이런 연결을 코드와 기록에서 직접 따라갈 수 있다.
강한 모델의 답을 작은 모델에 옮기다
마지막 영상은 강화학습과 다른 길인 증류(더 강한 모델의 출력을 이용해 작은 모델을 학습시키는 방법)를 다룬다. 라슈카는 딥시크 R1(DeepSeek R1)이 생성한 MATH 문제 답안을 모아 추론 학습 데이터를 준비한다. 토큰화와 학습·검증·시험 데이터 분할을 거친 뒤, 정답 토큰의 확률을 바탕으로 지도학습 반복 절차를 구현한다. 학습 손실과 검증 손실을 기록하고 저장된 모델 상태를 MATH-500으로 평가해 앞선 결과와 비교한다.
강좌는 이렇게 사전학습 모델의 생성에서 시작해 정답 판별, 추론 단계의 후보 비교, 보상을 이용한 학습, 강한 모델에서 작은 모델로의 지식 이전까지 한 흐름으로 묶는다. 라슈카는 영상을 멈추고 답변 추출 설정을 바꾸거나 실패한 답을 직접 살펴보라고 권한다. 정해진 코드를 실행하는 데서 끝내지 말고, 어느 단계가 결과를 바꾸는지 작은 실험으로 확인하라는 취지다. 강좌의 가치는 최종 모델 하나보다 그 모델을 평가하고 바꾸는 절차를 손으로 익히는 데 있다.
커뮤니티 의견
한 사용자는 기계학습을 배울 때 소프트웨어 개발보다 실습의 보람을 찾기 어렵다고 했다. 이론은 깊이 들어가려면 수학에 큰 시간을 써야 할 것 같고, 응용은 계산 자원과 데이터의 문턱이 높다는 이유다. 답글에서는 기초 이론을 모두 쌓은 뒤 시작하기보다, 모델을 먼저 만들어보며 아래 단계로 내려가는 학습법을 제안했다.
다른 사용자는 이런 강좌를 마치고 곧바로 쓸 만한 언어 모델을 훈련할 수 있어야 한다는 기대부터 잘못됐다고 봤다. 실제 대규모 학습에는 개인이 확보하기 어려운 계산 자원과 데이터, 운영상의 해결책이 필요하다는 것이다. 대신 도구를 직접 만들어보면 평소 사용하는 상위 단계의 도구가 왜 그렇게 동작하는지 이해할 수 있다고 주장했다.
앞선 라슈카의 언어 모델 책을 읽은 사용자들은 설명 방식에 주목했다. 한 사용자는 파이토치와 자동 미분을 통한 역전파가 비로소 이해됐다고 했고, 다른 사용자는 개념을 지나치게 복잡하게도, 지나치게 단순하게도 다루지 않는 점을 높이 평가했다. 이번 강좌의 새 구현을 평가한 말이라기보다, 저자의 기존 교육 자료를 따라 해본 경험에서 나온 반응이다.
장비를 묻는 사용자도 있었다. 클라우드 GPU가 꼭 필요한지, 학습용 PC를 마련한다면 어느 정도가 적당한지 감이 잡히지 않는다는 질문이다. 답글에서는 큐원3 0.6B가 작은 모델이므로 로컬 장비에서도 따라갈 수 있고, CPU로 실행하면 시간이 더 걸린다고 설명했다. 이는 초반 실습은 CPU로 가능하지만 뒤쪽 학습에는 GPU가 더 실용적이라는 라슈카의 안내와 맞닿는다.
추론 모델의 정의를 문제 삼는 의견도 나왔다. 한 사용자는 추론 모델의 핵심을 여러 풀이 경로를 시도하고 가장 나은 답을 고르는 능력으로 기억한다며, 검증 가능한 보상의 강화학습을 중심에 놓는 설명에 의문을 제기했다. 강좌가 추론 시 후보를 늘리는 방법과 강화학습을 모두 다루는 만큼, 두 접근을 어떻게 구분해 이해할지도 토론거리로 남았다.
실용성을 낮게 보는 사용자는 ‘모델 직접 만들기’ 안내서를 과거의 CPU 제작 안내서에 비유했다. 흥미롭지만 실제 쓸모는 적다는 주장이다. 반론은 공개된 모델을 가져와 추가로 학습할 수 있으므로 하드웨어를 직접 제조하는 일과는 다르다고 맞섰다. 논쟁의 초점은 완성품을 만드는 능력보다, 배운 절차를 기존 모델에 다시 적용할 수 있느냐에 있다.
핵심통찰
라슈카의 강좌가 바꾸는 것은 개인이 대형 모델을 훈련할 수 있는 범위가 아니라, 추론 모델을 이해하는 출발점이다. 같은 작은 모델과 검증기를 두고 답을 더 많이 생성할 때, 보상으로 가중치를 바꿀 때, 강한 모델의 답으로 학습할 때 무엇이 달라지는지 비교할 수 있다. 커뮤니티가 제기한 계산 자원과 실용성의 질문도 여기서 선명해진다. 지켜볼 것은 최종 점수 하나보다 추가 계산의 비용, 실패한 답의 유형, 학습 기록이 보여주는 변화다.
원본: Build Your Own Reasoning Model: A Full Video Course
토론: Hacker News