word2vecは一体何を学習するのでしょうか？
word2vecは具体的に何を、どのように学習するのでしょうか？この問いに答えることは、最小限でありながら興味深い言語モデリングタスクにおける表現学習を理解することに他なりません。word2vecは現代の言語モデルの先駆けとして広く知られているにもかかわらず、長年にわたり、その学習過程を記述する定量的かつ予測可能な理論が研究者たちには欠けていました。私たちの新しい論文では、ついにそのような理論を提示しました。私たちは、学習問題が重み付けされていない最小二乗法による行列分解に帰着する現実的で実用的な条件域が存在することを証明しました。さらに、勾配流の動力学を閉じた形で解析し、最終的に学習された表現は単純に主成分分析によって与えられることを示しました。word2vecの学習ダイナミクス。小さな初期化から学習を開始すると、word2vecは離散的で逐次的なステップで学習を進めます。左図：ランク増分