视频书籍论文对照图
视频书籍论文对照图
一句话定义
这张图说明 MIT 6.S191、Stanford CS224N、两本深度学习书和 12 篇经典论文各自负责什么，避免把所有材料都当成必须完整刷完的清单。
总原则
先用视频建立直觉，再用书查概念和公式，最后用论文和 notebook 形成可验证能力。
视频：建立地图和直觉
书籍：补术语、公式、机制
论文：学习研究问题和证据
notebook：证明自己能把机制写出来
口头表达：证明自己能在组会里讲清楚
资源分工
| 资源 | 最适合解决的问题 | 使用方式 | 不适合承担的任务 |
|---|---|---|---|
| MIT 6.S191 | 深度学习整体地图、神经网络、CNN、Transformer、生成模型 | 每周先看相关讲座，写 3-5 张概念卡 | 不适合逐字记笔记或替代论文阅读 |
| Stanford CS224N | NLP、word vectors、attention、Transformer、预训练语言模型 | 配合 word2vec、Attention、Transformer、GPT/BERT 阅读 | 不适合当普通听力材料刷完 |
| Deep Learning | 基础概念、优化、正则化、CNN/RNN 等经典理论 | 遇到术语或公式不懂时查章节 | 不适合从第一页硬啃到最后 |
| Understanding Deep Learning | 图解机制、现代深度学习直觉、代码友好解释 | 配合 notebook 理解模型、loss、训练过程 | 不适合只看图不写代码 |
| 12 篇经典论文 | 研究问题、方法创新、实验论证、局限边界 | 每篇一页笔记加一个最小复现点 | 不适合只读摘要或只看博客替代 |
8 周资源对照
| 周 | 核心问题 | 视频优先 | 书籍优先 | 论文优先 | notebook 证据 |
|---|---|---|---|---|---|
| 第 1 周 | 神经网络怎么学习参数 | MIT 神经网络基础 | UDL/Deep Learning 中 model、loss、optimization | 暂不主读论文，先建立基础 | MLP 或 embedding 基础 |
| 第 2 周 | 词如何变成向量 | CS224N word vectors | 查 embedding、softmax、cross entropy | word2vec | dl_01_word2vec_embeddings.ipynb |
| 第 3 周 | 深层网络为什么难训 | MIT CNN/深层网络相关内容 | 查 CNN、batch norm、optimization | ResNet | dl_02_resnet_block.ipynb |
| 第 4 周 | 序列如何按相关性取信息 | CS224N attention/Transformer | 查 matrix multiplication、softmax、positional encoding | Attention、Transformer | dl_03_attention_qkv.ipynb |
| 第 5 周 | 预训练语言模型如何工作 | CS224N language models/Transformers | 查 autoregressive、MLM、fine-tuning | GPT、BERT | dl_04_mini_gpt_causal_lm.ipynb、dl_05_bert_mlm_toy.ipynb |
| 第 6 周 | 大模型规模为什么重要 | 课程只作背景，不强求完整视频 | 查 loss curve、generalization、compute | GPT-3、Scaling Law、Chinchilla | dl_06_scaling_law_chinchilla_toy.ipynb |
| 第 7 周 | 如何对齐和低成本适配 | 课程只作背景 | 查 RL、rank、fine-tuning | RLHF、LoRA | dl_07_lora_linear.ipynb |
| 第 8 周 | 生成模型和最终汇报 | MIT 生成模型/diffusion 相关内容 | 查 Gaussian noise、denoising、MSE | Diffusion；同时复盘任选一篇汇报 | dl_08_diffusion_denoising_toy.ipynb |
每篇论文对应的资源入口
| 论文 | 先看什么 | 查书查什么 | 再读论文抓什么 |
|---|---|---|---|
| word2vec | CS224N word vectors | embedding、softmax、negative sampling | 为什么上下文能训练词向量 |
| ResNet | MIT/CNN 或深层网络内容 | CNN、gradient、batch norm | degradation problem 和 residual connection |
| Attention | CS224N attention | encoder-decoder、softmax、alignment | attention weight 如何用于上下文选择 |
| Transformer | CS224N Transformer | self-attention、position、layer norm | 为什么不用 RNN/CNN 也能建模序列 |
| GPT | CS224N language modeling | autoregressive LM、fine-tuning | unsupervised pre-training 如何迁移到下游任务 |
| BERT | CS224N BERT/预训练相关内容 | encoder-only、masking、cross entropy | masked language modeling 的目标和局限 |
| GPT-3 | 课程背景即可 | few-shot、prompt、benchmark | in-context learning 的实验现象 |
| Scaling Law | 课程背景即可 | loss、compute、power law | 经验规律如何从实验中得到 |
| Chinchilla | 课程背景即可 | token、parameter、compute budget | 为什么数据量和参数量要平衡 |
| RLHF | 课程背景即可 | preference、reward model、policy | SFT/RM/PPO 三阶段关系 |
| LoRA | 课程背景即可 | matrix rank、fine-tuning | 冻结基座权重和低秩更新 |
| Diffusion | MIT 生成模型相关内容 | Gaussian noise、MSE、Markov chain | forward noising 和 reverse denoising |
每天 90 分钟怎么分配资源
默认分配：
- 20 分钟视频或书：只补今天论文/代码需要的概念。
- 25 分钟论文：只读摘要、引言、核心图或方法的一小段。
- 25 分钟 notebook：跑一个 cell 或改一个 shape。
- 10 分钟笔记：写三句话。
- 10 分钟 AI 检查：问 3 个具体问题。
如果当天数学卡住：
视频 10 分钟 + 查书 30 分钟 + 论文 10 分钟 + notebook 25 分钟 + 总结 15 分钟
如果当天代码卡住：
视频 10 分钟 + 论文 15 分钟 + notebook 45 分钟 + shape 记录 10 分钟 + AI 检查 10 分钟
如果当天论文卡住：
视频 20 分钟 + 书 20 分钟 + 论文 20 分钟 + 一页笔记 20 分钟 + 追问 10 分钟
合格学习方式
合格不是“视频看完、书读完、论文下载完”，而是每周能交付：
- 一张概念卡。
- 一页论文笔记。
- 一个 shape 或 loss 记录。
- 一个具体追问。
- 一段 3 分钟口头表达。