Day 16 学习记录：Q/K/V 与 attention score
Day 16 学习记录：Q/K/V 与 attention score
日期
-
今日任务
- 对应天数：Day 16
- 对应论文/概念：query、key、value、attention score
- 对应 notebook：
dl_03_attention_qkv.ipynb
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解 Q/K/V 的角色 | ||
| 25 分钟论文 | 对照 Transformer 论文中的 scaled dot-product attention | ||
| 25 分钟代码 | 跑或检查 Q/K/V 线性投影代码 | ||
| 10 分钟总结 | 写出 Q、K、V 的 shape | ||
| 10 分钟自测/AI 提问 | 做自测题 10 |
今天跑通或检查的代码
- notebook：
dl_03_attention_qkv.ipynb - 输入
xshape： Qshape：Kshape：Vshape：
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 手算一个小 attention score 和 softmax weight。