第四周复盘：GPT 与 BERT
第四周复盘：GPT 与 BERT
本周目标
理解 GPT 和 BERT 的两种预训练语言模型路线：causal language modeling 与 masked language modeling。
本周完成证据
| 证据 | 文件或输出 | 是否完成 |
|---|---|---|
| Day22-Day28 学习记录 | daily_logs/Day22_学习记录.md 到 Day28_学习记录.md | |
| GPT 个人笔记 | paper_notes/05_gpt.md | |
| BERT 个人笔记 | paper_notes/06_bert.md | |
| mini GPT notebook 检查 | dl_04_mini_gpt_causal_lm.ipynb | |
| BERT MLM notebook 检查 | dl_05_bert_mlm_toy.ipynb | |
| 自测题 14-18 | 自测题库.md | |
| GPT/BERT 3 分钟口头稿 | daily_logs/Day27_学习记录.md |
本周应能回答的问题
- GPT 的训练目标是什么？
- causal mask 的作用是什么？
- BERT 的 MLM 在做什么？
- 为什么 BERT 能利用双向上下文？
- GPT 和 BERT 分别更适合什么任务？
- in-context learning 和 fine-tuning 有什么区别？
本周薄弱点
1. 2. 3.
下周计划
下周主题：GPT-3、Scaling Law、Chinchilla。
最小任务：
- 读 GPT-3 few-shot/in-context learning 相关内容。
- 跑或检查
dl_06_scaling_law_chinchilla_toy.ipynb。 - 填
paper_notes/07_gpt3.md、paper_notes/08_scaling_law.md、paper_notes/09_chinchilla.md。 - 能解释 scaling law 是经验规律，不是严格定理。