GPT-3、Scaling Law、Chinchilla 示范答案与反例：从 prompt 能力到 compute-optimal
GPT-3、Scaling Law、Chinchilla 示范答案与反例：从 prompt 能力到 compute-optimal
使用原则
这份文件只用于校准，不可以直接复制进 paper_notes/07_gpt3.md、paper_notes/08_scaling_law.md、paper_notes/09_chinchilla.md、daily_logs/Day29_学习记录.md 到 Day35_学习记录.md 或 结业证据档案.md。合格证据必须包含你自己的 prompt 例子、toy scaling 输出记录、以及你对大规模训练不可复现边界的说明。
1. GPT-3 和 in-context learning
不合格写法
GPT-3 说明模型大了就会变聪明。
- 把论文贡献说成口号。
- 没有说明 in-context learning。
- 没有区分 in-context learning 和 fine-tuning。
问题：
可接受示范
GPT-3 的重要现象之一是 in-context learning：模型参数不更新，只通过 prompt 中的任务说明和少量示例，就能在当前上下文里表现出完成新任务的能力。它和 fine-tuning 不同，fine-tuning 会用任务数据继续训练并更新参数；in-context learning 则是在推理时把示例放进输入，让模型根据上下文模式作答。
你必须自己补
- 一个我自己写的 zero-shot prompt：
- 一个 one-shot prompt：
- 一个 few-shot prompt：
- in-context learning 的局限：
2. zero-shot、one-shot、few-shot
不合格写法
zero-shot 没例子，few-shot 有几个例子。
- 只是字面解释。
- 没有说明 prompt 示例起什么作用。
- 没有说这些设置为什么用于评估模型泛化能力。
问题：
可接受示范
zero-shot 是只给任务说明，不给输入输出示例；one-shot 给一个示例；few-shot 给少量示例。示例的作用不是更新模型参数，而是在上下文中告诉模型任务格式、输入输出映射和回答风格。GPT-3 论文用这些设置观察大模型能否在少量上下文提示下迁移到新任务。
你必须自己补
| 设置 | 我的 prompt 例子 | 我希望模型学到的格式 |
|---|---|---|
| zero-shot | ||
| one-shot | ||
| few-shot |
3. Scaling Law 研究什么
不合格写法
Scaling law 就是模型越大效果越好。
- 太粗，容易误导。
- 没有说参数量、数据量、计算量和 loss 的关系。
- 没有说明这是经验规律，不是数学定理。
问题：
可接受示范
Scaling Law 研究的是在一定实验设置下，模型性能或 loss 如何随参数量、数据量和计算量变化。它的价值不是简单说“越大越好”，而是用经验曲线帮助估计扩大模型、扩大数据或增加计算时可能带来的收益。它依赖具体训练分布、模型族和实验范围，因此更适合说成经验规律，而不是普遍严格定理。
你必须自己补
- 参数量是什么意思：
- 数据量或 token 数是什么意思：
- compute budget 是什么：
- 为什么这不是严格定理：
4. Chinchilla 修正了什么直觉
不合格写法
Chinchilla 说数据也很重要。
- 方向对，但不够专业。
- 没有说明 compute-optimal training。
- 没有解释 undertrained model。
问题：
可接受示范
Chinchilla 论文强调，在固定 compute budget 下，不能只增加参数量，也要给模型足够多的训练 token。很多大模型可能参数很大但训练 token 不足，因此处于 undertrained 状态。compute-optimal training 关注的是在给定计算量时如何平衡参数量和 token 数，使训练资源更有效地转化为性能。
你必须自己补
- undertrained model 的一句话解释：
- 参数量和 token 数不平衡的例子：
- 我对 compute-optimal 的理解边界：
5. toy scaling notebook 复现了什么，没有复现什么
不合格写法
notebook 复现了 Scaling Law 和 Chinchilla。
- toy 曲线不能等同于论文实验。
- 没有说明用的是教学型模拟而不是真实大模型训练。
- 没有记录输出趋势和最优点。
问题：
可接受示范
这个 notebook 复现的是 Scaling Law 和 Chinchilla 的教学型直觉：在一个简化设置中观察参数量、token 数和 compute budget 的权衡，以及某些配置下 toy loss 更低。它没有复现论文中的大规模模型训练、真实数据分布、完整超参数搜索、真实 loss 曲线拟合和最终 benchmark。因此它只能作为理解规模权衡的图示证据，不能作为论文结果复现。
你必须自己补
- 我看到的 parameter count 范围：
- 我看到的 token count 范围：
- toy loss 趋势：
- toy 最优点或最低 loss 配置：
- 没有复现的至少 4 个部分：
6. 三篇论文的关系
不合格写法
GPT-3、Scaling Law、Chinchilla 都是在讲大模型。
- 太宽泛，无法体现三篇论文各自贡献。
- 没有区分现象、规律和训练资源配置。
- 没有说明它们如何连接到后续 RLHF/LoRA。
问题：
可接受示范
GPT-3 展示了大模型在 prompt 中利用示例完成任务的能力，Scaling Law 尝试用经验曲线描述规模扩大和 loss 下降之间的关系，Chinchilla 进一步强调在固定计算量下参数量和训练 token 数需要平衡。三者连起来说明：大模型能力不只来自架构，还受到参数规模、数据规模、计算预算和训练配置共同影响。后续 RLHF 和 LoRA 则是在已有大模型基础上解决对齐和低成本适配问题。
你必须自己补
- GPT-3 的一句话贡献：
- Scaling Law 的一句话贡献：
- Chinchilla 的一句话贡献：
- 它们和 RLHF/LoRA 的连接：
7. 能放进 5 分钟单元复盘的 90 秒版本
下面是结构示例，不是可复制答案：
GPT-3、Scaling Law 和 Chinchilla 可以看成大模型规模路线的三个层次。GPT-3 展示了 in-context learning：不更新参数，只通过 prompt 中的任务说明和少量示例，在上下文里完成新任务。Scaling Law 研究参数量、数据量、计算量和 loss 之间的经验关系，用曲线估计扩大规模的收益。Chinchilla 进一步指出，在固定 compute budget 下，参数量和 token 数需要平衡，只堆参数但训练 token 不够会导致 undertrained。我的 notebook 只演示了 toy scaling 和 compute trade-off 的直觉，没有复现真实大规模训练和论文实验。
- 一个 few-shot prompt 例子。
- 一个 toy scaling 输出或图的观察。
- 一个 Chinchilla 的 compute-optimal 解释。
- 一个你准备向老师或同学追问的问题。
你需要改成自己的版本，并补入：
8. 给 AI 的检查提示词
请检查我对 GPT-3、Scaling Law、Chinchilla 的论文笔记和 5 分钟复盘稿是否像真实理解，而不是复制概念。
要求：
1. 判断我是否区分了 in-context learning 和 fine-tuning。
2. 检查我是否把 scaling law 说成经验规律，而不是严格定理或“越大越好”的口号。
3. 检查我是否说清 Chinchilla 的 compute-optimal training、token 数和 undertrained model。
4. 检查我是否区分了 toy scaling notebook 和真实论文复现。
5. 指出最空泛的 3 句话，并追问我 3 个问题。
6. 不要直接替我写最终答案，只给修改建议和必须补充的证据。
我的内容：
【粘贴 GPT3/Scaling/Chinchilla 工作纸、paper_notes/07-09 或复盘稿】