word2vec 阅读与笔记工作纸
word2vec 阅读与笔记工作纸
一句话目标
用 4 天把 word2vec 学成第一个闭环：能解释 embedding，能说清 skip-gram/negative sampling，能把 notebook 对应到论文机制，并形成一页个人笔记。
Day 2：读摘要和引言
1. 这篇论文想解决什么问题？
请用自己的话写，不要直接翻译摘要。
2. one-hot 的问题是什么？
至少写出两个：
1. 2.
3. embedding 的直觉是什么？
一句话解释：
举一个例子：
4. 作者为什么关心“大规模文本”？
我的理解：
5. 今天可以写进 daily_logs/Day02_学习记录.md 的 3 句话
1. 2. 3.
Day 3：context window 和训练样本
1. 什么是中心词？
2. 什么是上下文词？
3. 举一个窗口大小为 2 的例子
句子：
中心词：
上下文词：
4. skip-gram 的输入和输出是什么？
输入：
输出：
5. notebook 中我看到的关键对象
| 对象 | 我看到的值或 shape | 含义 |
|---|---|---|
| vocabulary | ||
| word_to_id | ||
| center word | ||
| context word | ||
| embedding table |
Day 4：negative sampling 和 loss
1. 什么是正样本？
2. 什么是负样本？
3. 为什么不直接对整个词表做 softmax？
4. negative sampling 降低了什么成本？
5. notebook 中的 loss 说明什么？
6. 这个 notebook 没有复现论文的哪些部分？
至少写 3 点：
1. 2. 3.
Day 5：形成一页个人论文笔记
把下面内容整理进 paper_notes/01_word2vec.md。
1. 一句话贡献
2. 研究问题
3. 核心方法
CBOW：
Skip-gram：
Negative sampling：
4. 最小代码对应
这个 notebook 复现了：
这个 notebook 没有复现：
5. 我能解释的 shape/loss/输出
6. 我还不懂的地方
1. 2. 3.
7. 组会开场句
我今天汇报的论文是 word2vec。我的理解是，这篇论文主要解决了……
补完整：
自检问题
- 我能不能不用 AI 解释 embedding？
- 我能不能说明 context window 如何产生训练样本？
- 我能不能说清正样本和负样本？
- 我有没有把 toy notebook 误说成完整复现？
- 我能不能说出 word2vec 的至少 2 个局限？