Day 26 学习记录：GPT vs BERT 对照
Day 26 学习记录：GPT vs BERT 对照
日期
-
今日任务
- 对应天数：Day 26
- 对应论文/概念：GPT、BERT、causal LM、MLM
- 对应文件：
paper_notes/05_gpt.md、paper_notes/06_bert.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 对比 decoder-only 与 encoder-only | ||
| 25 分钟论文 | 补读 GPT/BERT 方法和实验概览 | ||
| 25 分钟代码 | 对比 mini GPT 和 TinyBERT 的输入/目标/loss | ||
| 10 分钟总结 | 写 GPT vs BERT 对照表 | ||
| 10 分钟自测/AI 提问 | 做自测题 17 |
GPT vs BERT 对照表
| 维度 | GPT | BERT |
|---|---|---|
| 结构 | ||
| 训练目标 | ||
| 能否看未来 token | ||
| 更适合的任务 | ||
| notebook 对应机制 |
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 准备 3 分钟讲清 GPT 和 BERT 的差异。