本文へ移動
AI NEWS JOURNAL
AI, IN PERSPECTIVE

AI の全ニュース

出典・テーマ・日時から、気になるニュースを見つけられます。

公開日時順

TD学習を用いない強化学習

本稿では、「分割統治」に基づく強化学習(RL)アルゴリズムを紹介します。従来の手法とは異なり、このアルゴリズムはスケーラビリティに課題のある時系列差分(TD)学習に依存せず、長期視点のタスクにも良好に拡張できます。私たちは、時系列差分(TD)学習ではなく、分割統治に基づいた強化学習を行うことができます。問題設定:オフポリシー型RL 本稿の問題設定はオフポリシー型RLです。その意味を簡単に振り返りましょう。強化学習には、オンポリシー型とオフポリシー型の二つのアルゴリズムクラスがあります。オンポリシー型RLでは、現在の方策によって収集された新しいデータのみを使用できます。つまり、方策を更新するたびに古いデータは破棄しなければなりません。PPOやGRPOといったアルゴリズム(およびポリシーグラディエント法

経緯と関連報道

word2vecは一体何を学習するのでしょうか?

word2vecは具体的に何を、どのように学習するのでしょうか?この問いに答えることは、最小限でありながら興味深い言語モデリングタスクにおける表現学習を理解することに他なりません。word2vecは現代の言語モデルの先駆けとして広く知られているにもかかわらず、長年にわたり、その学習過程を記述する定量的かつ予測可能な理論が研究者たちには欠けていました。私たちの新しい論文では、ついにそのような理論を提示しました。私たちは、学習問題が重み付けされていない最小二乗法による行列分解に帰着する現実的で実用的な条件域が存在することを証明しました。さらに、勾配流の動力学を閉じた形で解析し、最終的に学習された表現は単純に主成分分析によって与えられることを示しました。word2vecの学習ダイナミクス。小さな初期化から学習を開始すると、word2vecは離散的で逐次的なステップで学習を進めます。左図:ランク増分

経緯と関連報道