第 02 单元论文笔记包
第 02 单元论文笔记包
使用方法
本单元的重点不是背模型名字，而是回答：预训练模型的目标是什么，模型能力如何随规模变化，数据和计算预算如何限制模型。
1. GPT
论文：Improving Language Understanding by Generative Pre-Training
- 用 Transformer decoder 做无监督语言模型预训练，再通过微调迁移到下游任务。
一句话贡献：
- 标注数据有限时，如何利用大规模无标注文本提升语言理解任务。
它解决的问题：
- autoregressive language modeling。
- unsupervised pre-training。
- supervised fine-tuning。
核心方法：
../07_notebooks/dl_04_mini_gpt_causal_lm.ipynb
最小复现：
- next-token prediction。
- causal mask。
- pre-training 和 fine-tuning。
我需要会解释：
我还不懂的地方： -
- GPT 的“生成式预训练”为什么能帮助理解任务？
可以追问：
2. BERT
论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- 用 masked language modeling 训练双向 Transformer encoder 表示。
一句话贡献：
- 单向语言模型不能同时利用左右上下文来学习词和句子的表示。
它解决的问题：
- masked language modeling。
- next sentence prediction。
- encoder-only Transformer。
核心方法：
../07_notebooks/dl_05_bert_mlm_toy.ipynb
最小复现：
[MASK]token。- 双向上下文。
- BERT 为什么更适合理解任务。
我需要会解释：
我还不懂的地方： -
- BERT 的 MLM 训练目标和真实下游任务之间是否存在 mismatch？
可以追问：
3. GPT-3
论文：Language Models are Few-Shot Learners
- 展示大规模自回归语言模型可以通过 prompt 中的少量例子完成多种任务。
一句话贡献：
- 是否可以减少针对每个任务的梯度更新和人工标注需求。
它解决的问题：
- large autoregressive Transformer。
- zero-shot、one-shot、few-shot prompting。
- in-context learning。
核心方法：
- 不复现训练，只复现实验表格结构和 prompt 形式。
最小复现：
- in-context learning 不等于 fine-tuning。
- few-shot prompt 中的 examples 起什么作用。
- GPT-3 的贡献包含规模、数据和评估范式。
我需要会解释：
我还不懂的地方： -
- in-context learning 的能力来自预训练中的模式匹配，还是某种隐式优化？
可以追问：
4. Scaling Law
论文：Scaling Laws for Neural Language Models
- 用经验规律描述语言模型 loss 与参数量、数据量、计算量之间的关系。
一句话贡献：
- 如何预测扩大模型、数据或计算预算后性能可能如何变化。
它解决的问题：
- empirical power law。
- loss curve。
- compute budget 分析。
核心方法：
../07_notebooks/dl_06_scaling_law_chinchilla_toy.ipynb
最小复现：
- scaling law 是经验规律，不是严格定理。
- 参数、数据、计算量都可能成为瓶颈。
- loss 下降不等于所有任务能力都线性提升。
我需要会解释：
我还不懂的地方： -
- scaling law 在小规模科研数据上是否仍然有参考价值？
可以追问：
5. Chinchilla
论文：Training Compute-Optimal Large Language Models
- 给定训练计算预算时，模型参数和训练 token 数需要更平衡地分配。
一句话贡献：
- 很多大模型参数很大但训练 token 不足，可能不是 compute-optimal。
它解决的问题：
- 比较不同参数量和 token 数下的训练效果。
- 推导/拟合 compute-optimal allocation。
核心方法：
../07_notebooks/dl_06_scaling_law_chinchilla_toy.ipynb
最小复现：
- undertrained model。
- compute budget。
- 为什么“更大模型”不一定比“训练更充分的较小模型”更优。
我需要会解释：
我还不懂的地方： -
- Chinchilla 的结论是否会随数据质量、模型结构和训练目标变化？
可以追问：
5 分钟汇报稿模板
大家好，我今天汇报的是预训练语言模型与规模规律这一组论文。我把它们理解为一条连续路线：GPT 说明可以用自回归语言模型做生成式预训练，并迁移到下游任务；BERT 则用 masked language modeling 学习双向上下文表示，更适合理解类任务；GPT-3 展示了大规模语言模型通过 prompt 和少量例子完成任务的能力；Scaling Law 进一步用经验规律描述参数、数据和计算量与 loss 的关系；Chinchilla 则提醒我们，在固定计算预算下，不能只增加参数，还要保证足够训练数据。
我的理解边界是：我能解释这些论文的核心训练目标和 toy demo，但还不能复现真实大规模训练，也不能把 scaling law 当作严格数学定理。
本单元自测
- GPT 的训练目标是什么？
- BERT 的 MLM 为什么可以利用双向上下文？
- causal mask 的作用是什么？
- in-context learning 和 fine-tuning 有什么区别？
- scaling law 是经验规律还是理论定理？
- Chinchilla 为什么强调 token 数？
- 如果数据量很少，盲目增大模型可能有什么问题？