RSI-Opt：モデル訓練のための再帰的自己改善最適化エージェント

arXiv:2610.32026v1 発表タイプ：新規 抄録：従来のニューラルネットワークの学習は通常、事前に定められた最適化手法に従って行われ、学習の進行に応じてトレーニング動態を監視し最適化器の設定を調整するLLMエージェントが活用されてきました。しかし、固定されたエージェント方針では、複数の実行にわたって経験を蓄積することはできません。そこで私たちは、RSI-Optを提案します。これはプラグアンドプレイ可能な再帰的自己改善型最適化エージェントであり、このプロセスを導く知識—すなわちプロンプト、手順のプレイブック、検証済みの最適化コードライブラリ、そして意思決定の頻度—を進化させます。メタエージェントは、過去の実行から得られた証拠を用いてこの方針を書き換え、アーカイブには評価済みの方針を保存してさらなる進化を促します。3つの学習タスクにおいて5世代にわたって試行した結果、メタエージェントは再利用可能な手順やコードを構築し、自らの判断に基づいて…