AI ニュースを検索

VocabX：コスト重み付けによる語彙の専門化により、分野特化型ミニ言語モデルの推論コストを77％削減

Dharma-AIはVocabX手法を提案し、ポルトガル語の作文自動採点といった特定のタスク向けに言語モデルの語彙表を再構築することで、語彙の出現頻度ではなく生成コストを最適化目標としています。モデルの構造やパラメータ、学習プロセスを変更することなく、実測では推論コストが77％削減され、同時に評価指標（bench score）も0.703から0.810へ向上しました。