arXiv:2610.33005v1 発表タイプ：新規
要旨：エネルギーに基づくモデルは、特定分野のタスクにおいて有望な特性を示しているものの、汎用的なシナリオのモデリングには依然として課題が残っています。このギャップを埋めるため、私たちは基礎的な言語モデリング向けにエネルギー駆動型モデル（ESM）を設計しました。ESMは、エネルギーによる探索を活用してトークン生成を精緻化するため、エネルギー駆動とトークン生成を単一のアーキテクチャに統合しています。具体的には、まずエネルギー景観上での潜在状態を最適化し、次いでその精緻化された潜在状態を用いてトークン生成を行います。大規模コーパス上でこのようなエネルギー駆動型の事前学習を実施することで、ESMは一般的に有効なエネルギー景観を学習し、好ましいトークンが低いエネルギー値に対応することを確立します。ESMのスケーリング特性を検討するため、3つの大規模コーパスでESMを事前学習させ、その後、幅広い領域にわたる26の下流タスクに対して評価を行いました。得られた結果は、モデルサイズおよび学習データ量の増加に伴ってESMが有望なスケーリング特性を示し、多くの下流タスクにおいてGPTを上回ることを明らかにしています。これらの知見は、ESMが大規模な事前学習および汎用的な問題解決に有望なアーキテクチャであることを示しています。私たちは、コミュニティが当該成果を完全に再現・拡張できるよう、モデルの重みと学習インフラストラクチャを全面的に公開しています。
GitHub：https://github.com/datamllab/openesm HuggingFace：https://huggingface.co/collections/guan-wang/openesm