Day 22 学习记录：GPT 与 next-token prediction
Day 22 学习记录：GPT 与 next-token prediction
日期
-
今日任务
- 对应天数：Day 22
- 对应论文/概念：GPT、autoregressive language modeling、next-token prediction
- 对应文件：
paper_notes/05_gpt.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解自回归语言模型 | ||
| 25 分钟论文 | 读 GPT 摘要和训练目标 | ||
| 25 分钟代码 | 预览 dl_04_mini_gpt_causal_lm.ipynb 的字符级语料和 batch 构造 | ||
| 10 分钟总结 | 写一句话解释 next-token prediction | ||
| 10 分钟自测/AI 提问 | 做自测题 14 |
今天真正理解的 3 件事
1. 2. 3.
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 理解 causal mask 为什么必要。