コンセプタイザー：次に出現するトークンの予測だけでは十分ではない

arXiv:2610.33027v1 発表タイプ：新規 要旨：次トークン予測（NTP）は、次の出現するトークンのみに報酬を与え、他のすべての代替案にはペナルティを課す。しかし、自然言語ではしばしば同じ意味を表現する多様な方法が存在する。そこで我々は、意味に対する報酬を追加することで次トークン予測を拡張する学習フレームワークであるConceptizerを提案する。Conceptizerは、文脈に基づく同義語から構築された約9,000語の概念というモデル非依存の固定語彙を、テキストの単位であるトークンと並行して意味の単位として用いる。各次トークン分布を概念分布へと対応付け、目的とする意味に対する報酬をその可能な表現形式全体に分配する。これにより、モデルのパラメータを増やさずに概念レベルの学習信号を提供できる。10億～80億パラメータ規模の3つのモデルファミリーに対して適用した結果、ConceptizerはホールドアウトNTPのperplexityにおいて最も低い値を達成した。