Day 32 学习记录：Scaling Law / Chinchilla toy notebook
Day 32 学习记录：Scaling Law / Chinchilla toy notebook
日期
-
今日任务
- 对应天数：Day 32
- 对应论文/概念：toy loss、compute budget、参数/token 权衡
- 对应 notebook：
dl_06_scaling_law_chinchilla_toy.ipynb
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解参数量、token 数、compute budget 的关系 | ||
| 25 分钟论文 | 对照 Scaling Law 和 Chinchilla 的核心问题 | ||
| 25 分钟代码 | 运行或检查 toy notebook 的全部代码 | ||
| 10 分钟总结 | 写出 toy best candidate 的含义 | ||
| 10 分钟自测/AI 提问 | 让 AI 检查是否把 toy 曲线当真实论文结果 |
今天跑通或检查的代码
- notebook：
dl_06_scaling_law_chinchilla_toy.ipynb - toy loss 公式：
- compute budget：
- best toy candidate：
- 没有覆盖论文的部分：
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 理解 Chinchilla 的 compute-optimal training。
结业证据同步区
| 证据去向 | 今天可同步的内容 | 是否已同步 |
|---|---|---|
结业证据档案.md / notebook 和代码证据 | dl_06_scaling_law_chinchilla_toy.ipynb 的 toy loss、compute budget 和 best candidate 解释 | |
结业证据档案.md / 12 篇论文学习证据 | Scaling Law 或 Chinchilla 的最小机制、局限边界和掌握度评分 | |
完成判定表.md / 至少 1 个 demo 实际运行 | 当前 Python 环境已经执行通过的输出说明 |
今天最小合格证据
- 说明 toy loss 不是论文真实训练结果。
- 写出参数量、token 数和 compute budget 之间的权衡。
- 记录 best toy candidate 代表什么、不代表什么。