GPT-3、Scaling Law、Chinchilla 阅读、代码与复盘工作纸
GPT-3、Scaling Law、Chinchilla 阅读、代码与复盘工作纸
一句话目标
用第五周理解大模型规模路线：GPT-3 展示 in-context learning 现象，Scaling Law 总结经验规模规律，Chinchilla 强调在给定 compute budget 下参数量和 token 数要平衡。
Day 29：GPT-3 与 in-context learning
1. GPT-3 论文想解决什么问题？
我的回答：
2. 什么是 in-context learning？
我的回答：
3. in-context learning 和 fine-tuning 有什么区别？
| 维度 | in-context learning | fine-tuning |
|---|---|---|
| 是否更新参数 | ||
| 需要什么输入 | ||
| 适合什么场景 | ||
| 局限 |
4. GPT-3 不能被我完整复现的原因
1. 2. 3.
Day 30：few-shot prompt 范式
1. zero-shot / one-shot / few-shot 分别是什么？
zero-shot：
one-shot：
few-shot：
2. 写 3 个 few-shot prompt 例子
例子 1：
例子 2：
例子 3：
3. examples 在 prompt 中起什么作用？
Day 31：Scaling Law
1. Scaling Law 想研究什么关系？
2. 参数量、数据量、计算量分别是什么？
参数量：
数据量：
计算量：
3. 为什么 scaling law 是经验规律，不是严格定理？
4. 论文中的曲线想说明什么？
Day 32：toy scaling notebook
1. notebook 输出记录
| 对象 | 我看到的值/图/趋势 | 含义 |
|---|---|---|
| parameter count | ||
| token count | ||
| compute budget | ||
| toy loss | ||
| 最优点 |
2. toy notebook 复现了什么直觉？
3. toy notebook 没有复现论文哪些部分？
1. 2. 3.
Day 33：Chinchilla
1. Chinchilla 想修正什么直觉？
2. 什么是 compute-optimal training？
3. 为什么 token 数不够也会限制模型？
4. undertrained model 是什么意思？
Day 34：三篇论文笔记
GPT-3 一页笔记
一句话贡献：
研究问题：
核心方法/证据：
我还不懂：
Scaling Law 一页笔记
一句话贡献：
研究问题：
核心方法/证据：
我还不懂：
Chinchilla 一页笔记
一句话贡献：
研究问题：
核心方法/证据：
我还不懂：
Day 35：第 02 单元前半复盘
1. 5 分钟表达结构
GPT-3：
Scaling Law：
Chinchilla：
三者关系：
2. 自测题 18-21
18. fine-tuning 为什么重要？
我的回答：
修正后回答：
19. in-context learning 和 fine-tuning 有什么区别？
我的回答：
修正后回答：
20. scaling law 是理论定律还是经验规律？
我的回答：
修正后回答：
21. Chinchilla 为什么强调 token 数？
我的回答：
修正后回答：
第五周证据汇总
| 证据 | 位置 | 是否完成 | 还缺什么 |
|---|---|---|---|
| Day29-Day35 学习记录 | daily_logs/Day29_学习记录.md 到 Day35_学习记录.md | ||
| GPT-3 个人笔记 | paper_notes/07_gpt3.md | ||
| Scaling Law 个人笔记 | paper_notes/08_scaling_law.md | ||
| Chinchilla 个人笔记 | paper_notes/09_chinchilla.md | ||
| toy scaling notebook 输出 | daily_logs/Day32_学习记录.md 或本工作纸 | ||
| prompt 对照表 | daily_logs/Day30_学习记录.md 或本工作纸 | ||
| 第五周复盘 | daily_logs/第五周复盘.md |
进入 RLHF/LoRA/Diffusion 前必须讲清的 3 件事
1. 2. 3.