深度学习原理与经典论文路线

综合实践 · 12_深度学习原理与经典论文路线/README.md

深度学习原理与经典论文路线

一句话定位

这条路线不是为了“补完整个深度学习本科/博士课程”，而是为了在入学前建立最低可用的深度学习研究能力：能说清基本原理，能读懂经典论文主线，能用 PyTorch 复现最小版本，能用 AI 工具辅助阅读但不被 AI 带偏。

这批材料在训练什么

1. 视频课程：建立概念骨架。
2. 书籍：补齐公式、术语和系统表达。
3. 经典论文：理解深度学习研究如何提出问题、改模型、做实验、写贡献。
4. PyTorch 复现：把“我懂了”变成“我能跑出一个最小版本”。
5. AI 协作：让 ChatGPT、Claude、Codex 成为读论文、查代码、改 notebook 的辅助工具，而不是替代自己的判断。

推荐资源分工

先学什么

先抓住五个核心问题：

1. 表示学习：模型如何把词、图像、句子变成向量？
2. 深层网络：为什么加深网络会有困难，ResNet 如何解决？
3. 序列建模：RNN/attention/Transformer 分别解决什么问题？
4. 预训练：GPT、BERT、GPT-3 为什么把任务从“训练一个模型”变成“训练一个通用模型再适配”？
5. 规模与对齐：Scaling Law、Chinchilla、RLHF、LoRA 说明大模型为什么有效、成本在哪里、如何调优。

论文阅读顺序

第一层：基本表示和网络结构

1. word2vec：理解词向量和表示学习。
2. ResNet：理解深层网络训练困难和残差连接。

第二层：Attention 到 Transformer

1. Attention：理解对齐、查询上下文、sequence-to-sequence。
2. Transformer：理解 self-attention、并行序列建模、encoder-decoder。

第三层：预训练语言模型

1. GPT：理解自回归语言模型和 unsupervised pre-training。
2. BERT：理解 masked language modeling 和双向 encoder。
3. GPT-3：理解 in-context learning 和大模型能力涌现的早期证据。

第四层：大模型训练规律和适配

1. Scaling Law：理解 loss、参数量、数据量、计算量之间的经验规律。
2. Chinchilla：理解 compute-optimal training，以及“数据不够也会限制模型”。
3. RLHF：理解为什么语言模型需要人类偏好对齐。
4. LoRA：理解低秩适配和参数高效微调。

第五层：生成模型扩展

1. Diffusion：理解扩散模型的去噪生成思想，补齐图像生成路线。

每篇论文必须产出的四件东西

1. 一句话：这篇论文解决了什么问题。
2. 一张图：方法结构图或训练流程图，可以手画。
3. 一个最小复现：不是完整复现 SOTA，而是复现核心机制。
4. 一段组会表达：用 3-5 分钟讲清研究问题、方法、结果、局限。

学会的验收标准

你不需要达到“能从零证明所有定理”。这条路线的达标标准是：

1. 能用自己的话解释 12 篇论文分别贡献了什么。
2. 能把 attention、Transformer、pre-training、scaling law、RLHF、LoRA、diffusion 放到同一张知识地图里。
3. 能用 PyTorch 写出至少 6 个最小 demo：word2vec、ResNet block、attention、mini Transformer、LoRA linear layer、diffusion denoising toy example。
4. 能完成一次 10 分钟模拟组会：讲一篇论文，展示一个 notebook，回答 5 个追问。
5. 能清楚说明哪些部分自己还不懂，例如优化细节、实验规模、数学推导、工程实现。

和你的入学目标的关系

这条路线服务于“专业表达 + AI 协作 + 作业完成”。它不要求你短期成为深度学习专家，而是让你在开学前具备三种能力：

1. 课堂上听到 Transformer、pre-training、fine-tuning、alignment 时知道它们在说什么。
2. 组会里能专业地问：“这篇工作的核心改动是模型结构、训练目标、数据规模，还是适配方法？”
3. 遇到作业或项目时，能让 AI 帮你拆任务、写最小代码、检查输出，而不是只让 AI 直接给答案。

每天 90 分钟学习闭环

1. 20 分钟：看视频或读书，补概念。
2. 25 分钟：读论文一小节，只抓研究问题、方法、实验。
3. 25 分钟：写或改一个最小 PyTorch 代码块。
4. 10 分钟：写三句话总结。
5. 10 分钟：用 AI 提 3 个检查问题，确认自己哪里没懂。

本专题文件

• 8周执行清单.md：按 8 周推进的任务表。
• 8周逐日任务表.md：把 8 周拆成 56 天，每天都有任务和可检查产出。
• 经典论文矩阵.md：12 篇论文的学习定位、复现点和验收问题。
• 核心概念清单.md：把深度学习原理拆成可逐项检查的概念。
• 阶段验收表.md：判断自己是否达到听课、读论文、写代码和组会表达四个阶段。
• 自测题库.md：用于闭卷检查概念、论文、代码和综合表达。
• AI精读提示词.md：用 ChatGPT、Claude、Codex 读论文和写代码的提示词。
• notebook运行指南.md：说明如何配置 PyTorch 环境、运行 notebook、记录 shape/loss/局限。
• PyTorch本地环境安装与验证清单.md：从零安装本地 PyTorch/Jupyter 环境，并把 notebook 运行结果转成学习证据。
• 入门诊断测试.md：用 60-90 分钟判断当前短板在概念、数学、代码、论文阅读还是表达。
• 入门诊断答题纸.md：用于独立填写诊断答案、自评分和第一周策略。
• 第一次学习会话启动单.md：第一次打开本路线时使用，按 90-120 分钟完成诊断、Day1 概念、证据同步和明日策略判断。
• 第一周启动包.md：把 Day 0 诊断和 Day 1-Day 7 word2vec 学习闭环拆成可执行任务。
• Day01_概念工作纸.md：用于把 tensor、loss、gradient 写成自己的话，再整理回 Day01 学习记录。
• Day01_示范答案与反例.md：用于 Day 1 写完后校准表达，区分空泛定义、可接受表达和必须自己补的证据。
• word2vec_阅读与笔记工作纸.md：用于 Day 2-Day 5 阅读 word2vec、记录 notebook 机制并形成一页论文笔记。
• word2vec_示范答案与反例.md：用于 Day 2-Day 7 校准 word2vec 表达，特别检查 one-hot、embedding、skip-gram、negative sampling 和 toy notebook 边界。
• word2vec_口头表达与复盘工作纸.md：用于 Day 6-Day 7 完成 3 分钟口头稿、追问回答、自测题 1-6 和第一周证据汇总。
• ResNet_阅读代码与复盘工作纸.md：用于 Day 8-Day 14 阅读 ResNet、记录 F(x)+x 和 projection shortcut，并完成第二周复盘。
• ResNet_示范答案与反例.md：用于 Day 8-Day 14 校准 ResNet 表达，特别检查 degradation problem、F(x)+x、projection shortcut 和 toy notebook 边界。
• Attention_Transformer_阅读代码与复盘工作纸.md：用于 Day 15-Day 21 阅读 Attention/Transformer、记录 Q/K/V shape、手算 attention，并完成第 01 单元汇报。
• Attention_Transformer_示范答案与反例.md：用于 Day 15-Day 21 校准 attention 和 Transformer 表达，特别检查信息瓶颈、Q/K/V、positional encoding、RNN 对比和 toy notebook 边界。
• GPT_BERT_阅读代码与复盘工作纸.md：用于 Day 22-Day 28 阅读 GPT/BERT、记录 causal mask、MLM loss 和两种预训练路线对比。
• GPT_BERT_示范答案与反例.md：用于 Day 22-Day 28 校准 GPT/BERT 表达，特别检查 autoregressive LM、causal mask、MLM、双向上下文、fine-tuning 和 toy notebook 边界。
• GPT3_Scaling_Chinchilla_阅读代码与复盘工作纸.md：用于 Day 29-Day 35 阅读 GPT-3、Scaling Law、Chinchilla，记录 prompt、toy scaling 和 compute-optimal 证据。
• GPT3_Scaling_Chinchilla_示范答案与反例.md：用于 Day 29-Day 35 校准 GPT-3、Scaling Law、Chinchilla 表达，特别检查 in-context learning、经验规模规律、compute-optimal training 和 toy notebook 边界。
• RLHF_LoRA_Diffusion_阅读代码与复盘工作纸.md：用于 Day 36-Day 42 阅读 RLHF、LoRA、Diffusion，记录对齐流程、低秩适配和去噪生成证据。
• RLHF_LoRA_Diffusion_示范答案与反例.md：用于 Day 36-Day 42 校准 RLHF、LoRA、Diffusion 表达，特别检查偏好对齐、reward model、low-rank update、noise prediction 和 toy notebook 边界。
• 12篇论文总知识图与查漏清单.md：用于 Day 43-Day 49 把 12 篇论文、8 个 notebook、常见误解和最终汇报选题压成一张总图。
• 第七周_整合查漏工作纸.md：用于 Day 43-Day 49 整合 12 篇论文主线、检查 notebook 证据、修正经典论文矩阵并确定最终汇报选题。
• 第八周_最终演练工作纸.md：用于 Day 50-Day 56 完成最终选题、10 分钟讲稿、notebook 展示、追问回答、两轮演练和结业判定。
• 最终验收证据提交清单.md：用于 Day 50-Day 56 把最终汇报、notebook 展示、追问回答和完成判定提交成可检查证据。
• 掌握度追踪表.md：按问题定位、方法直觉、结构公式、notebook、口头表达和局限边界给 12 篇论文打分。
• 间隔复习计划.md：按 D0、D1、D7、D21 复习节奏防止“看过但讲不出”。
• 论文到代码复现工作流.md：把每篇论文拆成核心机制、输入输出、最小 PyTorch demo、输出解释和局限边界。
• AI协作审查清单.md：检查 ChatGPT、Claude、Codex 的解释和代码是否夸大、漏 shape、漏局限或替代了自己的判断。
• 老师同学提问与组会话术.md：把不懂的问题改写成专业提问，把论文和 notebook 证据改写成组会表达。
• 视频书籍论文对照图.md：把 MIT、CS224N、两本书、12 篇论文和 notebook 按 8 周任务对齐。
• 资源取舍规则.md：决定每天该看视频、查书、读论文还是写代码，避免资料过载。
• 结业证据档案.md：集中保存诊断、论文笔记、notebook 输出、AI 审查和最终汇报证据。
• 完成判定表.md：按证据判断路线处于未开始、进行中、基本达标还是可用于科研入门。
• 每日启动助手.md：说明如何用脚本按 Day 编号快速调出当天任务、文件和产出。
• 学习证据检查.md：说明如何检查结业证据和完成判定表中还有哪些空白项。
• 证据补全7天计划.md：把当前证据空白项按优先级转成 7 天内可执行的补证任务。
• 证据填写规范与示例.md：说明什么样的每日记录、论文笔记、notebook 输出和 AI 协作记录能算作合格学习证据。
• daily_logs/每日学习记录模板.md：每天记录概念、论文、代码、自测和明日任务。
• daily_logs/Day01_学习记录.md 到 daily_logs/Day07_学习记录.md：第一周可直接填写的学习记录。
• daily_logs/第一周复盘.md：第一周结束时检查 word2vec 和基础概念是否达标。
• daily_logs/Day08_学习记录.md 到 daily_logs/Day14_学习记录.md：第二周 ResNet 与深层网络学习记录。
• daily_logs/第二周复盘.md：第二周结束时检查 ResNet、residual connection 和 projection shortcut 是否达标。
• daily_logs/Day15_学习记录.md 到 daily_logs/Day21_学习记录.md：第三周 Attention 与 Transformer 学习记录。
• daily_logs/第三周复盘.md：第三周结束时检查 Q/K/V、self-attention 和第 1 单元主线是否达标。
• daily_logs/Day22_学习记录.md 到 daily_logs/Day28_学习记录.md：第四周 GPT 与 BERT 学习记录。
• daily_logs/第四周复盘.md：第四周结束时检查 causal language modeling、causal mask 和 masked language modeling 是否达标。
• daily_logs/Day29_学习记录.md 到 daily_logs/Day35_学习记录.md：第五周 GPT-3、Scaling Law、Chinchilla 学习记录。
• daily_logs/第五周复盘.md：第五周结束时检查 in-context learning、经验规模规律和 compute-optimal training 是否达标。
• daily_logs/Day36_学习记录.md 到 daily_logs/Day42_学习记录.md：第六周 RLHF、LoRA、Diffusion 学习记录。
• daily_logs/第六周复盘.md：第六周结束时检查对齐、低成本适配和去噪生成是否达标。
• daily_logs/Day43_学习记录.md 到 daily_logs/Day49_学习记录.md：第七周整合查漏学习记录。
• daily_logs/第七周复盘.md：第七周结束时检查论文矩阵、自测、错题本和最终汇报选题是否达标。
• daily_logs/Day50_学习记录.md 到 daily_logs/Day56_学习记录.md：第八周最终模拟组会、口头表达和入学前交付学习记录。
• daily_logs/第八周最终复盘.md：第八周结束时检查 10 分钟汇报、notebook 展示、追问回答和后续补强计划是否达标。
• 错题与薄弱点复盘.md：把自测题和组会追问中的薄弱点转成下一步任务。
• paper_notes/：12 篇论文的个人一页笔记文件，供实际阅读时逐篇填写。
• scripts/audit_progress.py：检查核心材料、12 篇笔记、8 个 notebook 和学习脚本是否齐全且 notebook JSON 合法。
• scripts/start_today.py：按 Day 编号输出当天主题、任务、产出、建议打开文件和 90 分钟闭环。
• scripts/evidence_status.py：检查结业证据档案和完成判定表是否仍有空白证据项。
• scripts/evidence_prompt.py：把某个证据缺口转换成可填写模板，说明缺哪些列、每列该写什么。
• scripts/next_evidence_plan.py：把当前证据缺口按优先级排成 7 天补证计划。
• scripts/study_dashboard.py：按 Day 编号同时输出当天任务和最近证据缺口，作为日常学习的首选入口。
• scripts/review_schedule.py：按 Day 编号输出 D0、D1、D7、D21 间隔复习任务，防止看过但讲不出。
• scripts/self_test.py：按 Day 或主题输出闭卷自测题，答不出来的问题转入错题本。
• scripts/quality_gate.py：最终验收前检查空白证据、空泛表达，并列出人工必须审查的一票否决项。
• scripts/check_environment.py：运行 notebook 前检查 Python、torch、常用包和深度学习 notebook 状态。
• 第01单元_表示学习到Transformer.md：把 word2vec、ResNet、Attention、Transformer 串成第一条学习主线。
• 第01单元_论文笔记包.md：第一单元四篇论文的一页笔记和汇报模板。
• 第02单元_预训练语言模型与规模规律.md：把 GPT、BERT、GPT-3、Scaling Law、Chinchilla 串成预训练和规模规律主线。
• 第02单元_论文笔记包.md：第二单元五篇论文的一页笔记和汇报模板。
• 第03单元_对齐适配与生成模型.md：把 RLHF、LoRA、Diffusion 串成对齐、低成本适配和生成模型主线。
• 第03单元_论文笔记包.md：第三单元三篇论文的一页笔记和汇报模板。
• 最终模拟组会模板.md：用 10 分钟汇报证明概念、论文、代码和理解边界已经连起来。
• 最终汇报_Transformer草稿.md：一份可直接修改的 10 分钟模拟组会草稿。
• 当前进度看板.md：跟踪论文覆盖、notebook 覆盖、验证状态和下一步任务。

已创建的最小复现

• ../07_notebooks/dl_01_word2vec_embeddings.ipynb：word2vec/skip-gram 的教学型最小复现，重点是 embedding、context window、negative sampling 和 tensor shape。
• ../07_notebooks/dl_02_resnet_block.ipynb：ResNet residual block 的最小复现，重点是 F(x) + x、shortcut 和 projection shortcut。
• ../07_notebooks/dl_03_attention_qkv.ipynb：scaled dot-product attention 的最小复现，重点是 Q/K/V、attention score、softmax weight 和 weighted sum。
• ../07_notebooks/dl_04_mini_gpt_causal_lm.ipynb：mini GPT 的最小复现，重点是 next-token prediction、causal mask 和 logits shape。
• ../07_notebooks/dl_05_bert_mlm_toy.ipynb：BERT MLM 的最小复现，重点是 [MASK]、双向上下文和 masked token loss。
• ../07_notebooks/dl_06_scaling_law_chinchilla_toy.ipynb：Scaling Law/Chinchilla 的 toy 演示，重点是参数量、token 数和 compute budget 的权衡。
• ../07_notebooks/dl_07_lora_linear.ipynb：LoRA linear layer 的最小复现，重点是冻结基座权重、低秩增量和参数量对比。
• ../07_notebooks/dl_08_diffusion_denoising_toy.ipynb：Diffusion toy denoising 的最小复现，重点是 forward noising 和 noise prediction objective。

进度审计

运行下面命令可以检查专题材料是否齐全：

& 'C:\Users\小王神棍\.cache\codex-runtimes\codex-primary-runtime\dependencies\python\python.exe' '12_深度学习原理与经典论文路线\scripts\audit_progress.py'

当前审计结果：核心专题文件、入门诊断与答题纸、Day01 概念工作纸、Day01 示范答案与反例、word2vec 工作纸、word2vec 示范答案与反例、ResNet 工作纸、ResNet 示范答案与反例、Attention/Transformer 工作纸、Attention/Transformer 示范答案与反例、GPT/BERT 工作纸、GPT/BERT 示范答案与反例、GPT-3/Scaling/Chinchilla 工作纸、GPT-3/Scaling/Chinchilla 示范答案与反例、RLHF/LoRA/Diffusion 工作纸、RLHF/LoRA/Diffusion 示范答案与反例、12 篇论文总知识图与查漏清单、第七周整合查漏工作纸、第八周最终演练工作纸、最终验收证据提交清单、第一周启动包、掌握度追踪、间隔复习、论文到代码复现工作流、AI 协作审查清单、视频书籍论文对照图、资源取舍规则、结业证据档案、完成判定表、每日启动助手、学习证据检查、证据补全 7 天计划、12 篇个人论文笔记、Day01-Day56 学习记录、学习脚本、8 周复盘和 8 个 notebook 均已存在；8 个 notebook 均可被 JSON 正常解析。学习证据是否填充需运行 scripts/evidence_status.py 单独检查。