第五周复盘：GPT-3、Scaling Law、Chinchilla
第五周复盘：GPT-3、Scaling Law、Chinchilla
本周目标
理解 GPT-3 的 in-context learning，Scaling Law 的经验规律，以及 Chinchilla 对参数量、token 数和 compute budget 的平衡观点。
本周完成证据
| 证据 | 文件或输出 | 是否完成 |
|---|---|---|
| Day29-Day35 学习记录 | daily_logs/Day29_学习记录.md 到 Day35_学习记录.md | |
| GPT-3 个人笔记 | paper_notes/07_gpt3.md | |
| Scaling Law 个人笔记 | paper_notes/08_scaling_law.md | |
| Chinchilla 个人笔记 | paper_notes/09_chinchilla.md | |
| Scaling/Chinchilla toy notebook 检查 | dl_06_scaling_law_chinchilla_toy.ipynb | |
| 自测题 18-21 | 自测题库.md | |
| prompt 对照表 | daily_logs/Day30_学习记录.md |
本周应能回答的问题
- in-context learning 和 fine-tuning 有什么区别？
- few-shot prompt 中的 examples 起什么作用？
- Scaling Law 是经验规律还是理论定理？
- 参数量、数据量和计算量分别可能怎样限制模型？
- Chinchilla 为什么强调 token 数？
- undertrained model 是什么意思？
- toy scaling notebook 没有覆盖真实论文哪些部分？
本周薄弱点
1. 2. 3.
下周计划
下周主题：RLHF、LoRA、Diffusion。
最小任务：
- 画 RLHF 三阶段流程。
- 跑或检查
dl_07_lora_linear.ipynb。 - 跑或检查
dl_08_diffusion_denoising_toy.ipynb。 - 能解释偏好、低秩适配和去噪目标。