Day 23 学习记录：causal mask 与 mini GPT
Day 23 学习记录：causal mask 与 mini GPT
日期
-
今日任务
- 对应天数：Day 23
- 对应论文/概念：causal mask、logits、next-token loss
- 对应 notebook：
dl_04_mini_gpt_causal_lm.ipynb
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解为什么生成时不能看未来 token | ||
| 25 分钟论文 | 对照 GPT 训练目标理解 causal LM | ||
| 25 分钟代码 | 跑或检查 mini GPT 中 causal mask 和 loss | ||
| 10 分钟总结 | 写出 logits shape [batch, time, vocab_size] 的含义 | ||
| 10 分钟自测/AI 提问 | 做自测题 15 |
今天跑通或检查的代码
- notebook：
dl_04_mini_gpt_causal_lm.ipynb - 输入
xshape： - 目标
yshape： - logits shape：
- loss 含义：
- 没有覆盖论文的部分：
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 理解 BERT 的 masked language modeling。