Day 33 学习记录：Chinchilla 与 compute-optimal training
Day 33 学习记录：Chinchilla 与 compute-optimal training
日期
-
今日任务
- 对应天数：Day 33
- 对应论文/概念：Chinchilla、undertrained model、compute-optimal
- 对应文件：
paper_notes/09_chinchilla.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解 undertrained model | ||
| 25 分钟论文 | 读 Chinchilla 摘要和结论 | ||
| 25 分钟代码 | 对照 toy notebook 比较过大模型和 balanced candidate | ||
| 10 分钟总结 | 写为什么参数更大不一定更优 | ||
| 10 分钟自测/AI 提问 | 做自测题 20-21 |
今天真正理解的 3 件事
1. 2. 3.
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 填 GPT-3、Scaling Law、Chinchilla 三篇个人笔记。