8 周逐日任务表
综合实践 · 12_深度学习原理与经典论文路线/8周逐日任务表.md
8 周逐日任务表
使用规则
每天只完成一个小闭环:读一点、写一点、跑一点、说一点。不要把目标设成“看完视频”或“看完论文”,而是交付一个可检查产出。
每天 90 分钟建议分配:
- 20 分钟:看视频或读书补概念。
- 25 分钟:读论文一个小节。
- 25 分钟:跑或改 notebook。
- 10 分钟:写 3 句话总结。
- 10 分钟:做自测题或向 AI 提 3 个问题。
第 1 周:神经网络与 word2vec
| 天 | 主题 | 任务 | 产出 |
| Day 1 | 深度学习整体地图 | 看 MIT 6.S191 intro;读 核心概念清单.md 第一组 | 解释 tensor、loss、gradient |
| Day 2 | 词向量直觉 | 读 word2vec 摘要和引言 | 一句话解释 embedding |
| Day 3 | context window | 跑 dl_01_word2vec_embeddings.ipynb 前半部分 | 画一个中心词-上下文样本 |
| Day 4 | negative sampling | 跑完 word2vec notebook | 解释正样本和负样本 |
| Day 5 | 论文笔记 | 填 第01单元_论文笔记包.md 的 word2vec 部分 | 一页 word2vec 笔记 |
| Day 6 | 口头表达 | 用 3 分钟讲 word2vec | 录音或写 3 分钟稿 |
| Day 7 | 复盘 | 做 自测题库.md 中 word2vec 题 | 标出 3 个薄弱点 |
第 2 周:ResNet 与深层网络
| 天 | 主题 | 任务 | 产出 |
| Day 8 | CNN 和深层网络 | 看 MIT/CNN 相关内容或读书查 CNN | 解释卷积和通道 |
| Day 9 | ResNet 问题 | 读 ResNet 摘要、引言、Figure 2 | 解释 degradation problem |
| Day 10 | residual block | 跑 dl_02_resnet_block.ipynb | 画 F(x)+x |
| Day 11 | projection shortcut | 修改 notebook 中 channel 数 | 解释为什么 shape 要一致 |
| Day 12 | 论文笔记 | 填 ResNet 一页笔记 | 一页 ResNet 笔记 |
| Day 13 | 对比表达 | 比较普通 block 和 residual block | 3 分钟口头稿 |
| Day 14 | 复盘 | 做 ResNet 自测题 | 标出 3 个问题 |
| 天 | 主题 | 任务 | 产出 |
| Day 15 | attention 直觉 | 读 Attention 论文摘要和方法直觉 | 解释 alignment |
| Day 16 | Q/K/V | 跑 dl_03_attention_qkv.ipynb 前半部分 | 写出 Q/K/V shape |
| Day 17 | softmax weight | 手算 2-3 个 token 的 attention | 一张手算表 |
| Day 18 | Transformer | 读 Transformer 摘要、引言、模型结构 | 解释 self-attention |
| Day 19 | 论文笔记 | 填 Attention 和 Transformer 笔记 | 两页笔记 |
| Day 20 | 单元整合 | 读 第01单元_表示学习到Transformer.md | 一张主线图 |
| Day 21 | 复盘 | 讲 5 分钟第 01 单元 | 5 分钟稿 |
第 4 周:GPT 与 BERT
| 天 | 主题 | 任务 | 产出 |
| Day 22 | GPT 训练目标 | 读 GPT 摘要和训练目标 | 解释 next-token prediction |
| Day 23 | causal mask | 跑 dl_04_mini_gpt_causal_lm.ipynb | 解释为什么不能看未来 |
| Day 24 | BERT 训练目标 | 读 BERT 摘要和 MLM 部分 | 解释 [MASK] |
| Day 25 | MLM loss | 跑 dl_05_bert_mlm_toy.ipynb | 解释只在 mask 位置算 loss |
| Day 26 | GPT vs BERT | 填第 02 单元中 GPT/BERT 笔记 | 对照表 |
| Day 27 | 口头表达 | 3 分钟讲 GPT 和 BERT 差异 | 口头稿 |
| Day 28 | 复盘 | 做 GPT/BERT 自测题 | 标出薄弱点 |
第 5 周:GPT-3、Scaling Law、Chinchilla
| 天 | 主题 | 任务 | 产出 |
| Day 29 | GPT-3 | 读 GPT-3 摘要和 few-shot 部分 | 解释 in-context learning |
| Day 30 | prompt 范式 | 写 3 个 few-shot prompt 例子 | prompt 对照表 |
| Day 31 | Scaling Law | 读 Scaling Law 摘要和主要图表 | 解释经验规律 |
| Day 32 | toy scaling | 跑 dl_06_scaling_law_chinchilla_toy.ipynb | 解释参数/数据/计算量 |
| Day 33 | Chinchilla | 读 Chinchilla 摘要和结论 | 解释 compute-optimal |
| Day 34 | 论文笔记 | 填 GPT-3、Scaling Law、Chinchilla | 三页笔记 |
| Day 35 | 复盘 | 讲第 02 单元 5 分钟 | 5 分钟稿 |
第 6 周:RLHF、LoRA、Diffusion
| 天 | 主题 | 任务 | 产出 |
| Day 36 | RLHF | 读 RLHF 摘要和方法概览 | 画三阶段流程 |
| Day 37 | 偏好与 reward | 写偏好排序 toy 表格 | 解释 reward model |
| Day 38 | LoRA | 读 LoRA 摘要和方法 | 解释 low-rank |
| Day 39 | LoRA demo | 跑 dl_07_lora_linear.ipynb | 计算参数量 |
| Day 40 | Diffusion | 读 Diffusion 摘要和直觉 | 解释加噪/去噪 |
| Day 41 | Diffusion demo | 跑 dl_08_diffusion_denoising_toy.ipynb | 解释 noise prediction |
| Day 42 | 复盘 | 填第 03 单元笔记 | 三页笔记 |
第 7 周:整合与查漏
| 天 | 主题 | 任务 | 产出 |
| Day 43 | 主线整合 | 读 3 个单元讲义 | 总知识图 |
| Day 44 | notebook 整理 | 选择 2 个 notebook 重跑或检查 | 输出截图/结果记录 |
| Day 45 | 论文矩阵 | 补全 经典论文矩阵.md 自己理解 | 12 行矩阵 |
| Day 46 | 自测 | 做 自测题库.md 第一轮 | 错题清单 |
| Day 47 | 口头练习 | 讲 12 篇论文主线 8 分钟 | 录音或讲稿 |
| Day 48 | 补短板 | 针对错题补概念 | 5 个修正回答 |
| Day 49 | 复盘 | 更新 当前进度看板.md | 新状态 |
第 8 周:最终模拟组会
| 天 | 主题 | 任务 | 产出 |
| Day 50 | 选题 | 选择 1 篇论文深入讲 | 选题理由 |
| Day 51 | 写稿 | 改 最终汇报_Transformer草稿.md 或另写个人稿 | 10 分钟初稿 |
| Day 52 | 配 notebook | 选择 1 个 notebook 展示 | 讲解顺序 |
| Day 53 | 追问准备 | 回答 8 个追问 | 问答稿 |
| Day 54 | 第一次演练 | 录一次 10 分钟汇报 | 自评清单 |
| Day 55 | 修改 | 修正不清楚的概念和表达 | 第二版稿 |
| Day 56 | 最终演练 | 完成最终模拟组会 | 最终自评 |