Day 25 学习记录：MLM loss 与 TinyBERT
Day 25 学习记录：MLM loss 与 TinyBERT
日期
-
今日任务
- 对应天数：Day 25
- 对应论文/概念：MLM loss、ignore_index、encoder-only Transformer
- 对应 notebook：
dl_05_bert_mlm_toy.ipynb
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解为什么只在 mask 位置算 loss | ||
| 25 分钟论文 | 对照 BERT 训练目标理解 MLM | ||
| 25 分钟代码 | 跑或检查 TinyBERT MLM 代码 | ||
| 10 分钟总结 | 写出 masked_ids、labels、logits shape | ||
| 10 分钟自测/AI 提问 | 让 AI 检查 GPT/BERT 目标差异 |
今天跑通或检查的代码
- notebook：
dl_05_bert_mlm_toy.ipynb - masked_ids shape：
- labels shape：
- logits shape：
- loss 含义：
- 没有覆盖论文的部分：
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 填 GPT 和 BERT 个人论文笔记，并做对照表。