Sebastian Raschka于2026年10月前正式发布视频课程《Build Your Own Reasoning Model: A Full Video Course》,共8集、总时长约11小时,配套出版书籍《Build a Reasoning Model (From Scratch)》(Manning/Amazon发行)。课程不从零训练基础语言模型,而是以开源小模型Qwen3-0.6B为起点,聚焦‘推理模型’(reasoning model)这一特定能力增强范式的技术实现,涵盖评估、推理时扩展(sampling/self-consistency/scoring/self-refinement)、强化学习(GRPO+RLVR)及知识蒸馏四大模块。
课程第6–8章构成训练技术核心:第6章构建含日志记录与检查点保存的完整训练循环,并实测稳定性与GPU内存占用;第7章深入RLVR训练监控,系统分析熵、优势值、裁剪策略比、KL损失项与格式化奖励等指标如何影响收敛行为及潜在奖励作弊风险;第8章基于DeepSeek R1生成的答案,在MATH-500数据集上完成软/硬蒸馏全流程——包括教师响应过滤、监督微调与蒸馏后评测。所有实验均强调‘可验证奖励’设计:数学答案验证器既是MATH-500自动评分工具,也直接作为RLVR的稀疏奖励信号源。
课程明确区分‘推理模型’(作为提升逻辑与数学能力的LLM内核)与‘智能体框架’(agent harness,负责上下文编排与工具调用),前置要求仅为Python与PyTorch基础,GPU仅在部分训练环节推荐而非全程必需。作者声明本系列是其前作《Build A Large Language Model (From Scratch)》的逻辑续作,但内容自洽、可独立学习;所有代码与结论均为教学演示性质,未宣称代表工业级方案或经第三方审计验证。文中‘当前主流LLM多为推理模型’系作者观点,非可验证事实。作者同步说明,课程内容更新将于2026年10月后暂停,下一轮LLM研究文章预计2026年11月起陆续发布。