word2vec 究竟学到了什么？

研究人员提出了针对 word2vec 学习过程的定量预测理论，证明该学习过程可简化为无权最小二乘矩阵分解，最终表征等价于对目标统计矩阵进行 PCA。在极小初始化条件下，模型通过离散步进逐次递增嵌入矩阵的秩，每一步都沿新的正交方向习得一个可解释的主题概念，直至模型容量饱和。