8 周执行清单
8 周执行清单
总目标
8 周后，你应能完成一次 10 分钟深度学习论文汇报，并展示一个 PyTorch notebook。汇报内容包括：研究问题、核心方法、实验结果、局限、与你未来科研训练的关系。
第 1 周：深度学习基本地图
目标：知道深度学习在解决什么问题。
- 看 MIT 6.S191 的 intro/neural network 基础相关内容。
- 读 Understanding Deep Learning 的前置章节，重点理解 model、loss、optimization、generalization。
- 建 5 张概念卡：神经网络、损失函数、梯度、反向传播、过拟合。
任务：
- 能用 3 分钟说明“训练神经网络”到底在训练什么。
- 能写出一个最小 MLP 分类 demo。
验收：
第 2 周：表示学习和 word2vec
目标：理解“词向量为什么是深度学习的入口问题”。
- 读 word2vec 论文。
- 看 CS224N 的 word vectors 相关内容。
- 写 skip-gram 或 CBOW 的极简 PyTorch demo。
任务：
- 能解释 one-hot、embedding、context window、negative sampling。
- 能说明 word2vec 的局限：语境不变、一词一向量、无法处理复杂上下文。
验收：
第 3 周：深层网络和 ResNet
目标：理解深层网络为什么难训，以及残差连接的直觉。
- 读 ResNet 论文。
- 补 CNN 和 batch normalization 的基本概念。
- 写一个 ResNet block，不追求完整 ImageNet 复现。
任务：
- 能解释 degradation problem 和 residual connection。
- 能画出普通 block 与 residual block 的差别。
验收：
第 4 周：Attention 与 Transformer
目标：理解现代大模型结构的核心机制。
- 读 attention 论文和 Transformer 论文。
- 看 CS224N 的 attention/Transformer 相关内容。
- 写 scaled dot-product attention 和 mini Transformer block。
任务：
- 能解释 query、key、value、self-attention、multi-head attention。
- 能说清 Transformer 相比 RNN 的优势和代价。
验收：
第 5 周：GPT 与 BERT
目标：理解两条预训练语言模型路线。
- 读 GPT 和 BERT。
- 比较 autoregressive LM 与 masked LM。
- 写一页对照笔记：GPT vs BERT。
任务：
- 能说明 decoder-only 与 encoder-only 的适用场景。
- 能解释 fine-tuning 为什么重要。
验收：
第 6 周：GPT-3、Scaling Law、Chinchilla
目标：理解“大模型为什么变大”以及“不是越大越随便训练”。
- 读 GPT-3、Scaling Law、Chinchilla。
- 建一个表：参数量、数据量、计算量、loss、能力。
- 写一段组会表达：为什么 compute-optimal training 重要。
任务：
- 能解释 in-context learning。
- 能说明 Chinchilla 对“只堆参数”的修正意义。
验收：
第 7 周：RLHF 与 LoRA
目标：理解模型对齐和低成本适配。
- 读 RLHF 和 LoRA。
- 画出 supervised fine-tuning、reward model、policy optimization 的关系。
- 写一个 LoRA linear layer 的最小 PyTorch 版本。
任务：
- 能解释 preference data、reward model、policy model。
- 能说明 LoRA 为什么是 low-rank adaptation。
验收：
第 8 周：Diffusion 与最终汇报
目标：补齐生成模型视角，并完成一次模拟组会。
- 读 diffusion 论文。
- 写一个 toy denoising demo 或流程图。
- 选择 1 篇论文做 10 分钟汇报。
任务：
- 能解释 forward noising 和 reverse denoising。
- 完成一次 10 分钟汇报：1 篇论文 + 1 个 notebook + 5 个追问。
验收：
每周固定产出
每周结束前保存：
- 一页学习笔记。
- 一行文献矩阵。
- 一个最小代码片段或 notebook。
- 三个“我还不懂但能具体问出来”的问题。