GPT 与 BERT 阅读、代码与复盘工作纸

综合实践 · 12_深度学习原理与经典论文路线/GPT_BERT_阅读代码与复盘工作纸.md

GPT 与 BERT 阅读、代码与复盘工作纸

一句话目标

用第四周理解两条预训练语言模型路线：GPT 的 autoregressive next-token prediction，以及 BERT 的 masked language modeling。重点不是完整预训练，而是能解释训练目标、mask 机制、logits/loss shape 和适用场景。

Day 22：GPT 训练目标

1. GPT 论文想解决什么问题？

我的回答：

2. 什么是 autoregressive language modeling？

我的回答：

3. next-token prediction 在预测什么？

输入：

目标：

4. unsupervised pre-training 和 fine-tuning 如何连接？

我的理解：

Day 23：causal mask 与 mini GPT

1. 为什么生成时不能看未来 token？

我的回答：

2. causal mask 的作用是什么？

我的回答：

3. mini GPT notebook shape 记录

4. logits shape [batch, time, vocab_size] 怎么解释？

5. notebook 没有复现 GPT 论文的哪些部分？

1. 2. 3.

Day 24：BERT 训练目标

1. BERT 想解决什么问题？

2. 什么是 masked language modeling？

3. 为什么 BERT 可以使用双向上下文？

4. [MASK] token 的作用是什么？

Day 25：MLM loss 与 BERT toy notebook

1. BERT MLM notebook shape 记录

2. 为什么只在 mask 位置算 loss？

3. BERT 为什么不自然适合逐词生成？

4. notebook 没有复现 BERT 论文的哪些部分？

1. 2. 3.

Day 26：GPT vs BERT 对照表

Day 27：3 分钟口头表达

1. 30 秒开场

我今天比较的是 GPT 和 BERT。它们都属于预训练语言模型，但训练目标和使用上下文的方式不同……

我的版本：

2. 60 秒：GPT

3. 60 秒：BERT

4. 40 秒：二者差异

5. 30 秒：我的 notebook 证据和边界

6. 3 分钟完整稿

Day 28：第四周复盘

自测题 14-18

14. GPT 的训练目标是什么？

我的回答：

修正后回答：

15. causal mask 的作用是什么？

我的回答：

修正后回答：

16. BERT 的 MLM 在做什么？

我的回答：

修正后回答：

17. GPT 和 BERT 的任务差异是什么？

我的回答：

修正后回答：

18. fine-tuning 为什么重要？

我的回答：

修正后回答：

第四周证据汇总

进入 GPT-3/Scaling Law 前必须讲清的 3 件事

1. 2. 3.