word2vec 示范答案与反例：从“看过”到“讲清楚”
word2vec 示范答案与反例：从“看过”到“讲清楚”
使用原则
这份文件只用于校准，不可以直接复制进 paper_notes/01_word2vec.md、daily_logs/Day02_学习记录.md 或 结业证据档案.md。合格证据必须包含你自己读论文时看到的句子、你运行 notebook 得到的 shape/loss/输出、以及你仍然不确定的问题。
1. 这篇论文解决什么问题
不合格写法
word2vec 是把词变成向量。
- 只说了结果，没有说明为什么要这样做。
- 没有对比 one-hot 的问题。
- 没有说训练任务如何让向量学到语义关系。
问题：
可接受示范
word2vec 试图解决词语表示的问题：传统 one-hot 表示维度高、稀疏，而且不同词之间没有可计算的相似性。word2vec 通过“用中心词预测上下文”或“用上下文预测中心词”的训练任务，把词映射到低维 dense vector，使相似语境中出现的词在向量空间中更接近。
你必须自己补
- 我从摘要或引言中抓到的原文线索：
- 我自己的例子：
- 我还不能确定的地方：
2. one-hot 和 embedding 的区别
不合格写法
one-hot 很长，embedding 比较短。
- 这是表面区别，不是核心区别。
- 没有说 one-hot 无法表达语义相似。
- 没有说 embedding 是训练出来的参数。
问题：
可接受示范
one-hot 是人工规定的离散编号：每个词只有一个位置是 1，其余都是 0，因此“king”和“queen”的距离不一定比“king”和“banana”更近。embedding 是模型训练出来的连续向量，同一个词的向量会随着预测任务和 loss 更新，最终可能把语义或用法相近的词放到更近的位置。
你必须自己补
- 一个 one-hot 不合理的例子：
- 一个 embedding 可能有用的例子：
- 我能写出的 toy vocabulary 和 shape：
3. skip-gram 到底在预测什么
不合格写法
skip-gram 是预测单词。
- 没说输入和输出分别是什么。
- 没说 context window 如何产生样本。
- 没说这是一个代理任务，而不是最终目的本身。
问题：
可接受示范
skip-gram 的输入是中心词，训练目标是预测它窗口内的上下文词。例如句子是 “I like deep learning”，窗口大小为 1 时，以 “deep” 为中心词，可以产生(deep, like)和(deep, learning)这样的正样本。模型不是为了真正做“猜词游戏”，而是借这个任务让词向量编码词语共现关系。
你必须自己补
- 我自己写的一个句子：
- window size：
- 产生的正样本：
4. negative sampling 为什么有用
不合格写法
negative sampling 可以提高效率。
- 方向对，但太空泛。
- 没有说原来贵在哪里。
- 没有说正样本和负样本分别代表什么。
问题：
可接受示范
如果每次训练都对整个词表做 softmax，词表很大时计算成本会很高。negative sampling 把任务改成：给定一个中心词和一个候选上下文词，判断它们是不是来自真实窗口的搭配。真实搭配是正样本，随机采样的不太相关词是负样本。这样每次只需要比较少量候选词，而不是遍历整个词表。
你必须自己补
- 我能解释的正样本：
- 我能解释的负样本：
- notebook 中对应的变量名或输出：
5. notebook 复现了什么，没有复现什么
不合格写法
notebook 复现了 word2vec。
- toy demo 不能等同于完整论文复现。
- 没有区分机制复现、工程规模、实验评估。
- 没有说明自己检查过哪些输出。
问题：
可接受示范
这个 notebook 复现的是 word2vec 的教学型核心机制：构造小词表、从 context window 产生 skip-gram 样本、建立 embedding table，并用正负样本训练一个最小模型。它没有复现论文中的大规模语料训练、完整超参数设置、词类比评估和工程优化。因此我只能说它帮助我理解机制，不能说它完整复现了论文结果。
你必须自己补
- 我实际看到的 vocabulary size：
- embedding matrix 的 shape：
- loss 或相似词输出：
- 没有复现的至少 3 个部分：
6. 能放进组会的 90 秒版本
下面是结构示例，不是可复制答案：
word2vec 的核心贡献是把词从稀疏 one-hot 表示转成可训练的 dense embedding。它的直觉是：如果两个词经常出现在相似上下文中，它们的向量表示也应该更接近。以 skip-gram 为例，模型用中心词预测窗口内的上下文词，从大量共现样本中学习 embedding。由于完整 softmax 在大词表上成本高，negative sampling 把问题改成判断真实搭配和随机负样本，从而降低训练成本。我的 notebook 只复现了小语料上的样本构造、embedding table 和 negative sampling 训练，没有复现论文的大规模实验和词类比评估。
- 一个你自己写的句子和窗口样本。
- 一个你实际运行 notebook 得到的 shape。
- 一个你准备向老师或同学追问的问题。
你需要改成自己的版本，并补入：
7. 给 AI 的检查提示词
请检查我对 word2vec 的论文笔记和 3 分钟口头稿是否像真实理解，而不是复制概念。
要求：
1. 判断我是否说清了 one-hot 的问题、embedding 的直觉、skip-gram 的输入输出、negative sampling 的作用。
2. 检查我是否把 toy notebook 误说成完整论文复现。
3. 指出最空泛的 3 句话，并追问我 3 个问题。
4. 不要直接替我重写整篇答案，只给修改建议和必须补充的证据。
我的内容：
【粘贴 word2vec 工作纸、paper_notes/01_word2vec.md 或口头稿】