Day 17 学习记录：softmax weight 与 weighted sum
Day 17 学习记录：softmax weight 与 weighted sum
日期
-
今日任务
- 对应天数：Day 17
- 对应论文/概念：softmax weight、weighted sum、context representation
- 对应 notebook：
dl_03_attention_qkv.ipynb
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解 score 到 weight 的转换 | ||
| 25 分钟论文 | 阅读 attention 权重或 scaled attention 相关段落 | ||
| 25 分钟代码 | 检查 weights = softmax(scores) 和 context = weights @ V | ||
| 10 分钟总结 | 手写一个 2-3 token 的 attention 例子 | ||
| 10 分钟自测/AI 提问 | 做自测题 11 |
今天跑通或检查的代码
- scores shape：
- weights shape：
- row sums 是否接近 1：
- context shape：
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 阅读 Transformer 摘要、引言和模型结构。