Day 31 学习记录:Scaling Law 直觉
Day 31 学习记录:Scaling Law 直觉
日期
-
今日任务
- 对应天数:Day 31
- 对应论文/概念:Scaling Law、loss、parameters、dataset size、compute
- 对应文件:
paper_notes/08_scaling_law.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解 loss curve 和经验规律 | ||
| 25 分钟论文 | 读 Scaling Law 摘要和主要图表 | ||
| 25 分钟代码 | 预览 dl_06_scaling_law_chinchilla_toy.ipynb 的 toy loss 函数 | ||
| 10 分钟总结 | 写一句话说明 scaling law 不是严格定理 | ||
| 10 分钟自测/AI 提问 | 做自测题 19 |
今天真正理解的 3 件事
1. 2. 3.
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 跑或检查 Scaling Law/Chinchilla toy notebook。