アーティファクト蒸留：フロンティア言語モデルから小型言語モデルへの学習不要な転移
arXiv:2610.37680v1 発表タイプ：新規 要旨：フロンティアモデルと小規模言語モデルの性能差を埋める手法としては、通常、知識蒸留が用いられます。すなわち、フロンティアモデル（教師）の出力に対して小規模モデル（生徒）を微調整することで、転移は学習に必要な計算リソースに依存し、転移された知識はほとんど不透明なままです。そこで私たちは、アーティファクト蒸留を提案します。これは、教師が学習事例を解き、その問題解決手順をアーティファクトバンクとして外部化し、生徒が推論時にこれを照会する方式で、勾配による更新は行わないものです。LiveBench の4つのタスクにおいて、Claude Opus 4.5 によって作成されたバンクを用いることで、Claude Haiku 4.5 は空間的推論において、コストを60%に抑えながら、無補助の Claude Sonnet 4.5 を0.707対0.647で上回り、テーブル結合ではコストを89%に抑えつつ Sonnet 4.5 と同等の水準に到達しました。同じ生データのバンクを用いることで