没有人告诉模型"国王与男人的差别是王权",可这条算式偏偏落在 Queen 附近——它凭什么成立?本期《原代码》从 2013 年 Google 那篇论文出发,沿着 CBOW 与 Skip-gram 两种架构、两张不能相减的对照表、一段可以直接下载的 C 实现,走到三年后那篇讨论词向量偏见的论文。
从一个被猜中的邻居,到一条可以被算出来的方向:同一个机制,既留下了语言里的秩序,也留下了语言里的偏见。
你可在官方网站 yuandaima.xyz 中查看本期逐字稿、证据引用关系和证据快照。
时间轴
00:00 先算一遍,再问是谁教的
00:54 2013 年,四个人的任务小得离谱
02:39 原声:讲者回顾这一步
03:34 猜邻居,怎么就留下坐标了
08:40 原声:从一个类到一串数
10:23 同一份数据,两种架构,两个世界
16:03 它先是一个工具,然后才是一篇论文
21:22 一个词,被压成了一个点
24:23 再算一次那条算式
26:35 启下:一个点不够用
本期资料
- [Tomas Mikolov、Kai Chen、Greg Corrado、Jeffrey Dean:Efficient Estimation of Word Representations in Vector Space(2013,arXiv:1301.3781v3)](arxiv.org)
- [Tomas Mikolov、Ilya Sutskever、Kai Chen、Greg Corrado、Jeffrey Dean:Distributed Representations of Words and Phrases and their Compositionality(2013,arXiv:1310.4546v1)](arxiv.org)
- [NeurIPS 2013 论文条目:Distributed Representations of Words and Phrases and their Compositionality](proceedings.neurips.cc)
- [Xin Rong:word2vec Parameter Learning Explained(2014,arXiv:1411.2738v4)](arxiv.org)
- [Tolga Bolukbasi、Kai-Wei Chang、James Zou、Venkatesh Saligrama、Adam Kalai:Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings(2016,arXiv:1607.06520v1)](arxiv.org)
源码与工程记录
- [word2vec 原始 C 实现(word2vec.c,默认参数在第 40–49 行)](raw.githubusercontent.com)
- [word2vec 项目镜像页(tmikolov/word2vec)](github.com)
- [word2vec 项目页(Google Code,2016-01-08 归档快照:许可、快速上手、预训练包与聚类示例)](web.archive.org)
访谈与历史原声来源
- [Understanding Language Modeling(FJelinekSeries #44,ÚFAL MFF UK,2021;讲者 Tomáš Mikolov)](www.youtube.com)。本期两段原声出自同一场讲座的 00:03:55–00:04:40 与 00:19:30–00:20:15,在成片中位于 02:39 与 08:40。逐字与译义尚未核定,因此节目只交代它们的位置与作用,不引用原话;两段同源,不构成两条独立证词。
说明与延伸阅读
- 那条 King − Man + Woman ≈ Queen 的算式不是这篇论文首次展示的:论文 §1 把它标成一个引用,项目页也把更早的 NAACL 论文排在前面。这篇论文的贡献是把这类运算的准确率抬上去,并给出别人能复现的规模。
- 论文里的两张表不能相减:一张是七亿八千三百万词、300 维,另一张是三亿两千万词、640 维。同一个模型在两处分数不同,是条件换了,不是谁算错。数字只在同一张表内比较。
- 项目页说两套测试集"最好结果"都在 70% 以上,与论文同一架构的 53.3 并不矛盾:前者用的是约一千亿词的预训练包,后者是七亿八千三百万词的实验配置,差两个数量级。两个数字回答的不是同一个问题。
- 类比题只认完全相同的答案,同义词算错;作者自己写,达到 100% 几乎不可能,因为模型没有词形信息,不知道 run 与 running 是同一个动词的两种形态。它测的是检索命中,不是语言能力。
- 在微软句子补全挑战上,Skip-gram 单独做是 48.0,低于 LSA 的 49、log-bilinear 的 54.8 和循环网络的 55.4;把它和循环网络叠起来才到 58.9。"一个词一个坐标"有用,但不是万能件。
- 2016 年那篇偏见研究,本期只讲到摘要与第一节的主张:偏见在几何上是空间里的一个方向,中性的词与定义性别的词可以线性分开。它的实验数据、去偏方法与效果评估没有进入本期判断。
- 源码里的默认值(窗口 5、100 维、5 轮、负采样 5 个)与论文表格的配置(300 维、3 个 epoch、学习率 0.025 线性衰减)是两套东西:"能跑"和"刷到表里的分"不是一回事。

