word2vec 到底学到了什么？Berkeley AI Research 给出定量理论

Berkeley AI Research 的新论文为 word2vec 的学习过程提供了定量预测理论：证明在若干温和近似条件下，其学习问题可归约为无加权最小二乘矩阵分解，梯度流动力学可解析求解，最终学到的表示等价于对特定目标矩阵 $M^\star$ 做 PCA。