在向量空间中高效估计词表示

官方源标题： Efficient Estimation of Word Representations in Vector Space
作者： Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean
来源： arXiv:1301.3781v3（2013-09-07 修订）｜论文 PDF
阅读定位： 这是一篇 2013 年论文的原始贡献解读，不是对今天所有词向量方法的横向评测。

核心结论

三句话记住这篇论文

1. 把最贵的一层拿掉。 传统神经语言模型要经过非线性隐藏层；论文改用更简单的对数线性结构，直接学习词向量，因此能把训练扩展到更大的语料与维度。（论文第 3 节，PDF pp. 4–5）
2. 用两个相反方向的预测任务学习。 CBOW 用上下文猜中间词；Skip-gram 用当前词猜周围词。它们学习的不是字典定义，而是词在语料中的使用规律。（论文 §§3.1–3.2）
3. 价值来自“规模 × 结构”，不是神奇代数。 在论文自己的类比测试上，简单模型以更低计算成本取得更高准确率；但测试只覆盖单词、要求精确命中，不能证明向量理解了语言。（论文 §§4.1–4.4）

一句话概括：这篇论文的关键不是首次提出“词可以是向量”，而是证明了简化训练目标后，可以用大规模语料高效学到仍保留许多语法和语义规律的向量。

问题

词的编号不会表达“像不像”

许多早期 NLP 系统把词当作词表里的离散编号：这种表示简单、稳健，却没有内建的相似性。cat 与 dog 的编号差一位或一万位都没有语义。连续向量则允许模型从共同上下文中学出距离和方向，让相似词靠近，也让某些关系表现为近似一致的位移。（论文 Introduction，PDF pp. 1–2）

旧模型的计算瓶颈限制了规模

论文比较的前馈神经语言模型（NNLM）和循环神经语言模型（RNNLM）都带有计算昂贵的隐藏层。作者把每个训练样本的复杂度写成参数访问量：NNLM 在采用分层 softmax 后主要受 N × D × H 支配，RNNLM 主要受 H × H 支配；其中 N 是上下文长度、D 是向量维度、H 是隐藏层规模。（论文 §2，PDF pp. 3–4）

作者的目标很具体：在数十亿词的语料和百万级词表上学习高质量向量。论文称，此前公开架构通常只训练到数亿词，向量维度多为 50–100。（论文 §1.1，PDF pp. 1–2）因此问题不是“复杂模型能否拟合得更细”，而是：能否牺牲部分模型表达力，换来足够大的训练规模，并让最终向量更有用？

方法

CBOW：看周围，猜中间

连续词袋模型（Continuous Bag-of-Words, CBOW）移除非线性隐藏层，把上下文词的共享投影取平均，再预测中间词。论文效果最好的设置使用前后各 4 个词；因为词序不影响投影，所以称为“词袋”。其每样本复杂度为 Q = N × D + D × log₂(V)，V 为词表大小。（论文 §3.1，PDF p. 4）

Skip-gram：给定中间，猜周围

Skip-gram 把方向反过来：以当前词为输入，预测一定窗口内的周围词。更大的窗口通常改善向量质量，但增加计算；作者让较远词更少被采样。论文实验使用最大窗口 C = 10，复杂度与 C × (D + D × log₂(V)) 成正比。（论文 §3.2，PDF pp. 4–5）

为什么简化反而可能更好

它们不再承担“完整语言模型”的全部工作，而把计算集中在词与上下文的预测关系上。单个样本的模型能力可能更弱，但省下的计算可以购买更多训练词、更多向量维度和更大词表。论文的消融结果也提示两种资源要一起增加：CBOW 在 30k 词表子集上，从 50 维/24M 训练词的 13.4% 提升到 600 维/783M 训练词的 50.4%，并出现边际收益递减。（论文 Table 2，PDF p. 7）

证据与局限

最强证据：同数据、同维度下的架构比较

论文构建了语义—句法词关系测试集：8,869 道语义题、10,675 道句法题，共 14 类关系。回答方式是做向量偏移后找余弦距离最近的词；只有精确匹配标准答案才算正确。（论文 §4.1，PDF p. 6）在相同的 320M 训练词和 640 维设置下，结果如下：

来源：论文 Table 3，PDF p. 7。CBOW 更擅长这里的句法题，Skip-gram 在语义题上明显更强；不存在一个模型全面占优。

大规模 DistBelief 实验中，1000 维 CBOW 在 6B 训练词上得到 63.7% 总准确率，耗时估计为 2 天 × 140 CPU 核；1000 维 Skip-gram 得到 65.6%，为 2.5 天 × 125 核。作为对照，100 维 NNLM 为 50.8%，耗时 14 天 × 180 核。（论文 Table 6，PDF p. 9）这组数据支持“更简单的结构能以较低计算代价扩大训练并提高该测试表现”，但不是严格的等算力比较：模型维度不同，且作者说明共享数据中心的 CPU 使用量会波动。

关系会呈现为近似位移

论文展示了 Paris − France + Italy ≈ Rome 这类结果，并报告：用 10 个关系样例的平均位移替代单一样例，最佳模型在语义—句法测试上绝对准确率约提升 10 个百分点。（论文 §5，PDF p. 10）这说明若干语料规律能形成可复用方向；它并不等于词的全部意义都能由一条直线表示。

论文没有证明什么

• 测试范围窄。 题目只含单 token，多词实体如 “New York” 被排除；同义词即使合理也算错。（论文 §4.1）
• 没有形态信息。 作者明确说模型没有输入词形结构，因此 100% 准确率很可能不可达，并建议未来加入词内部结构。（论文 §4.1）
• 下游价值证据有限。 Skip-gram 单独在 Microsoft Sentence Completion Challenge 上为 48.0%，低于 49% 的平均 LSA 相似度；与 RNNLM 组合才达到 58.9%。（论文 Table 7，PDF p. 9）这说明向量信号有互补性，却不能说明它单独解决了语言建模。
• 公平性与可迁移性有限。 多组实验的语料、维度、训练轮数和硬件并不完全一致；主要语料为 Google News，论文也没有系统检查不同领域、语言、偏见或罕见词表现。

实际意义

对产品和工程的启发

解读而非作者原话： 这篇论文提供了一个仍然实用的工程判断——如果最终需要的是可复用表示，就不一定要先训练一个更复杂的完整任务模型。围绕真正要保留的关系设计一个便宜的代理任务，省下的计算可以换取数据覆盖与表示容量。但上线前必须用自己的文本分布和下游任务验证，不能拿论文类比准确率代替业务指标。

可把选择粗略理解为：重速度、常见词和句法规律时先试 CBOW；更看重语义关系且能承受更多计算时试 Skip-gram。这里是从论文结果得到的实践性解读，不是跨语料的普遍保证。今天复现时还应单独检查多词表达、低频词、领域漂移和社会偏见；这些都不在本文的证据范围内。

术语与核验清单

• 分布式表示（distributed representation）： 一个词由多个连续数值共同表示，而不是一个独立编号。
• 对数线性模型（log-linear model）： 这里指移除非线性隐藏层后的简化预测结构。
• 分层 softmax（hierarchical softmax）： 用 Huffman 二叉树组织词表，使一次预测无需扫描全部词；论文称百万词表时相较平衡树约可再加速 2 倍。（论文 §2.1，PDF p. 3）
• 类比测试： 用 b − a + c 的近邻是否为目标词来检查关系规律；它只是一种探针，不是完整的语言理解测量。

复现或采用前，至少核验四件事：比较是否使用相同语料和算力；类比题是否泄漏或过度代表业务；多词、低频词和未登录词如何处理；向量在真实下游指标和偏见审计上是否仍有效。

来源说明

本文所有论文事实与数字均来自 arXiv v3 的摘要页与官方 PDF。三张配图均为依据论文机制重新创作的教学示意，不复制论文图版；数值证据使用表格呈现，以免图像生成造成失真。