세바스티안 라슈카는 2026년 10월까지 공식적으로 ‘Build Your Own Reasoning Model: A Full Video Course’라는 비디오 강좌를 출시했으며, 총 8회로 구성되어 전체 수강 시간은 약 11시간에 달합니다. 이 강좌와 함께 ‘Build a Reasoning Model (From Scratch)’라는 책도 출판되었으며, 해당 도서는 매닝과 아마존에서 발행되었습니다. 본 강좌에서는 기초 언어 모델을 처음부터 학습시키는 방식이 아니라, 오픈소스 소형 모델인 Qwen3-0.6B를 출발점으로 삼아 ‘추론 모델’이라는 특정한 능력 강화 패러다임의 기술적 구현에 초점을 맞춥니다. 여기에는 평가, 추론 시 확장(샘플링/자기일관성/스코어링/자기정제), 강화학습(GRPO+RLVR), 그리고 지식 증류 등 네 가지 주요 모듈이 포함됩니다.
강좌의 6~8장은 훈련 기술의 핵심을 구성합니다: 6장에서는 로깅과 체크포인트 저장을 포함한 완전한 훈련 루프를 구축하고, 안정성 및 GPU 메모리 사용량을 실험적으로 평가합니다. 7장에서는 RLVR 훈련 모니터링을 심층적으로 탐구하며, 엔트로피, 우위값, 클리핑 전략 비율, KL 손실 항, 형식화된 보상 등 지표들이 수렴 행동과 잠재적 보상 부정행위 위험에 어떤 영향을 미치는지 체계적으로 분석합니다. 8장에서는 DeepSeek R1을 기반으로 생성된 답변을 활용해 MATH-500 데이터셋에서 소프트/하드 디스틸레이션의 전 과정을 완료합니다—교사 응답 필터링, 감독微조정, 그리고 디스틸레이션 후 평가까지 포함됩니다. 모든 실험은 ‘검증 가능한 보상’ 설계를 강조합니다: 수학 답안 검증기는 MATH-500의 자동 채점 도구일 뿐만 아니라, 동시에 RLVR의 희소 보상 신호 원천으로 직접 활용됩니다.
본 강좌는 ‘추론 모델’(논리력과 수학적 능력을 향상시키는 LLM의 핵심)과 ‘에이전트 프레임워크’(agent harness, 문맥 구성 및 도구 호출을 담당)를 명확히 구분하며, 사전 요구 조건은 파이썬과 파이토치의 기초 수준에 불과하고 GPU는 일부 학습 단계에서 권장될 뿐 전 과정에 반드시 필요한 것은 아닙니다. 저자는 본 시리즈가 자신의 전작인 「Build A Large Language Model (From Scratch)」의 논리적 후속편이라고 밝혔지만, 내용은 자체적으로 일관성을 유지하며 독립적으로 학습할 수 있습니다. 모든 코드와 결론은 교육용 시연의 성격을 지니며, 산업용 수준의 솔루션을 대표하거나 제3자 감사에 의해 검증되었다고 주장하지 않습니다. 본문에서 언급된 ‘현재 주류 LLM은 대부분 추론 모델이다’라는 표현은 저자의 견해일 뿐이며, 검증 가능한 사실은 아닙니다. 또한 저자는 강좌 내용의 업데이트가 2026년 10월 이후 중단되며, 차기 LLM 연구 관련 글들은 2026년 11월부터 순차적으로 공개될 예정이라고 밝혔습니다.