小型モデルで大きな成果:分解手法による優れた意図抽出の実現
生成AI
出典・テーマ・日時から、気になるニュースを見つけられます。
ヘルス&バイオサイエンス
アルゴリズムと理論
Google 2025年総括:今年の研究における画期的成果
アルゴリズムと理論
Google DeepMindは新たなシンガポール研究ラボを開設し、アジア太平洋地域におけるAIの進歩を加速させています。
アルゴリズムと理論
本稿では、「分割統治」に基づく強化学習(RL)アルゴリズムを紹介します。従来の手法とは異なり、このアルゴリズムはスケーラビリティに課題のある時系列差分(TD)学習に依存せず、長期視点のタスクにも良好に拡張できます。私たちは、時系列差分(TD)学習ではなく、分割統治に基づいた強化学習を行うことができます。問題設定:オフポリシー型RL 本稿の問題設定はオフポリシー型RLです。その意味を簡単に振り返りましょう。強化学習には、オンポリシー型とオフポリシー型の二つのアルゴリズムクラスがあります。オンポリシー型RLでは、現在の方策によって収集された新しいデータのみを使用できます。つまり、方策を更新するたびに古いデータは破棄しなければなりません。PPOやGRPOといったアルゴリズム(およびポリシーグラディエント法
word2vecは具体的に何を、どのように学習するのでしょうか?この問いに答えることは、最小限でありながら興味深い言語モデリングタスクにおける表現学習を理解することに他なりません。word2vecは現代の言語モデルの先駆けとして広く知られているにもかかわらず、長年にわたり、その学習過程を記述する定量的かつ予測可能な理論が研究者たちには欠けていました。私たちの新しい論文では、ついにそのような理論を提示しました。私たちは、学習問題が重み付けされていない最小二乗法による行列分解に帰着する現実的で実用的な条件域が存在することを証明しました。さらに、勾配流の動力学を閉じた形で解析し、最終的に学習された表現は単純に主成分分析によって与えられることを示しました。word2vecの学習ダイナミクス。小さな初期化から学習を開始すると、word2vecは離散的で逐次的なステップで学習を進めます。左図:ランク増分
ファインチューニングにより、衛星画像に対するビジョン言語モデルの可能性を引き出す
LLMを審判として用いたRAGの評価