第三周复盘：Attention 与 Transformer
第三周复盘：Attention 与 Transformer
本周目标
理解 Attention 和 Transformer 的核心机制：Q/K/V、attention score、softmax weight、weighted sum、self-attention、positional encoding。
本周完成证据
| 证据 | 文件或输出 | 是否完成 |
|---|---|---|
| Day15-Day21 学习记录 | daily_logs/Day15_学习记录.md 到 Day21_学习记录.md | |
| Attention 个人笔记 | paper_notes/03_attention.md | |
| Transformer 个人笔记 | paper_notes/04_transformer.md | |
| Attention notebook 检查 | dl_03_attention_qkv.ipynb | |
| 自测题 10-13、27-28 | 自测题库.md | |
| 第 1 单元 5 分钟汇报稿 | daily_logs/Day21_学习记录.md |
本周应能回答的问题
- Q、K、V 分别是什么？
- attention score 和 softmax weight 有什么区别？
- weighted sum 在汇总什么？
- attention weight 能否直接当作因果解释？
- Transformer 为什么需要 positional encoding？
- Transformer 相比 RNN 的优势和代价是什么？
- word2vec、ResNet、Attention、Transformer 如何构成一条主线？
本周薄弱点
1. 2. 3.
下周计划
下周主题：GPT 与 BERT。
最小任务：
- 读 GPT 论文训练目标。
- 跑或检查
dl_04_mini_gpt_causal_lm.ipynb。 - 读 BERT MLM 部分。
- 跑或检查
dl_05_bert_mlm_toy.ipynb。 - 能解释 causal mask 和 masked language modeling 的区别。