arXiv:2610.37681v1 公表タイプ:新規
要旨:近年、大規模な推論モデルは複雑なタスクの解決において顕著な能力を示しており、長文の思考過程データに対する教師あり微調整(SFT)が、その推論能力を引き出し、さらに向上させるための重要な基盤となっています。推論指向のSFTに関する改良と分析の両面で急速な進展が見られるにもかかわらず、この分野には依然として、急成長する文献を統合した体系的な総説が不足しています。このギャップを埋めるため、本稿では推論向けSFTに関する最近の進展を包括的にレビューし、方法論的設計と分析的検討という二つの視点から文献を考察します。まず、SFTパイプライン全体にわたる方法論上の改良を整理し、データ中心のアプローチとアルゴリズム中心の革新の二つに分類します。次に、分析的研究をデータ特性、最適化の動態、メカニズムに関する洞察という三つの側面に沿って再編成します。最後に、現在の研究の重点と残された課題を総括することで、推論向けSFTの有望な今後の方向性を提示します。本総説が推論向けSFTへの理解を深め、高度な推論モデルの発展に道を開くことを期待します。