02-九讲逐讲学习地图
# MIT 6.S191 九讲逐讲学习地图
用途：看每一讲前先读本文件，知道应该抓什么。看完后回到本文件，用自己的笔记补充每讲的 task、model、objective、evidence 和 limitation。
总图
mindmap
root((MIT 6.S191))
基础神经网络
forward
loss
gradient
optimizer
序列建模
token
embedding
attention
Transformer
计算机视觉
convolution
feature map
classification
生成模型
latent space
denoising
diffusion
强化学习
state
action
reward
policy
新前沿
LLM
fine-tuning
alignment
AI for Science
simulation
surrogate
uncertainty
大规模训练
GPU
memory
parallelism
项目表达
proposal
experiment
limitation
这张图是你看课的导航。你不需要一开始把每个分支都学深，但每看一讲都要知道自己站在哪个分支上。
Lecture 1：Intro to Deep Learning
一句话：这一讲建立深度学习的基本训练流程，说明神经网络如何通过数据、loss 和梯度学习参数。
要解决的问题：传统程序是人写规则，深度学习是让模型从数据中学习规则。例如图像分类中，人很难写出“猫”的全部规则，但可以给模型大量猫和非猫图片，让模型学习区分特征。
核心概念：
| 概念 | 直觉解释 | 专业表达 |
|---|---|---|
| neuron | 接收输入、加权求和、过激活函数 | affine transform plus nonlinearity |
| layer | 一组神经元并行工作 | parameterized transformation |
| activation | 给模型增加非线性 | nonlinear function |
| loss | 错误程度 | objective to minimize |
| gradient descent | 朝 loss 下降方向更新参数 | first-order optimization |
你要会说：神经网络训练包括 forward pass、loss computation、backpropagation 和 optimizer step。forward pass 产生预测，loss 衡量预测错误，backpropagation 计算梯度，optimizer 根据梯度更新参数。
最容易误解：神经网络不是自动“理解”数据，它只是通过优化目标学习参数。loss 设计得不好，模型可能学到错误目标。训练集表现好也不代表泛化好。
Lecture 2：Deep Sequence Modeling
一句话：这一讲处理有顺序的数据，例如文本、音乐、时间序列和传感器序列。
直觉解释：序列数据的难点是当前元素的意义依赖上下文。“bank” 在金融和河岸语境中含义不同；音乐下一个音符依赖前面旋律；时间序列当前状态依赖过去状态。
核心概念：
| 概念 | 作用 |
|---|---|
| token | 把文本切成模型可处理的单位 |
| embedding | 把离散 token 转成连续向量 |
| hidden state | 保存过去信息的内部表示 |
| attention | 根据相关性选择上下文 |
| Transformer | 用 self-attention 并行建模序列关系 |
你要会说：序列建模的核心是从上下文中预测或生成下一个元素。语言模型通常把任务写成 next-token prediction，训练目标是让真实下一个 token 的概率更高。
与时间序列关系：如果未来课程中处理金融、气象、交通、复杂系统状态演化，sequence modeling 是重要入口。但时间序列还涉及平稳性、趋势、周期、异常值和不确定性，不能直接把 NLP 方法照搬。
Lecture 3：Deep Computer Vision
一句话：这一讲说明模型如何从图像中提取局部模式，并逐步组合成高级语义。
直觉解释：图片不是普通表格数据。相邻像素之间有局部结构，边缘、纹理、角点、局部形状可以组合成物体。CNN 用卷积核在图像上滑动，寻找相同模式在不同位置的出现。
核心概念：
| 概念 | 直觉 |
|---|---|
| convolution | 用小窗口扫描图像 |
| filter/kernel | 检测某种局部模式 |
| feature map | 某种模式在图像各处的响应 |
| pooling | 降低分辨率，保留主要信息 |
| data augmentation | 用变换增加训练样本多样性 |
你要会说：CNN 的优势来自 local connectivity 和 parameter sharing。局部连接让模型关注邻近像素，参数共享让同一个卷积核能在不同位置检测同类特征。
局限：视觉模型可能依赖数据偏差，例如背景、拍摄角度、颜色分布。高准确率不等于模型真的学到了人类认为的因果特征。
Lecture 4：Deep Generative Modeling
一句话：这一讲关注如何让模型生成新样本，而不只是分类或预测。
分类模型回答“这个输入属于哪一类”，生成模型回答“符合数据分布的新样本是什么样”。例如生成手写数字、图像、音乐、文本。生成模型的关键是学习数据分布，而不是简单复制训练样本。
核心概念：
| 概念 | 解释 |
|---|---|
| latent space | 压缩后的隐含表示空间 |
| decoder | 从隐变量生成可见数据 |
| VAE | 学习概率隐变量生成过程 |
| GAN | 生成器和判别器对抗训练 |
| diffusion | 通过加噪和去噪学习生成 |
你要抓住：diffusion 的直觉是先把真实数据逐步加噪变成噪声，再训练模型学会反向去噪。生成时从噪声开始一步步去噪，得到样本。
与科研关系：生成模型可用于分子设计、材料生成、图像增强、模拟数据生成。但在科学场景中必须检查物理约束、数据偏差和不确定性，不能只看生成结果像不像。
Lecture 5：Deep Reinforcement Learning
一句话：强化学习研究智能体如何通过和环境交互、获得奖励来学习决策。
监督学习中有明确标签，强化学习中通常没有每一步的正确答案，只有动作之后得到的奖励。智能体必须在探索和利用之间权衡：探索可能发现更好策略，利用当前策略能获得稳定收益。
核心概念：
| 概念 | 含义 |
|---|---|
| agent | 做决策的主体 |
| environment | 智能体交互的外部系统 |
| state | 当前局面 |
| action | 可选择的行为 |
| reward | 环境反馈 |
| policy | 从状态到动作的策略 |
| value function | 某个状态或动作长期价值 |
你要会说：强化学习优化的不是单步预测准确率，而是长期累计奖励。难点在于奖励延迟、探索成本高、训练不稳定、评估依赖环境。
Lecture 6：New Frontiers
一句话：这一讲把基础深度学习连接到 LLM、微调、对齐、安全和应用前沿。
你要抓住三个层次：
- Pretraining：在大规模数据上学习通用表示或生成能力。
- Fine-tuning：在具体任务或偏好数据上调整模型。
- Alignment：让模型输出更符合人类意图、安全要求和任务约束。
常见概念：
| 概念 | 解释 |
|---|---|
| foundation model | 可迁移到多任务的大模型 |
| prompt | 给模型的任务描述和上下文 |
| fine-tuning | 用新数据进一步训练模型 |
| RLHF | 用人类偏好反馈调整模型 |
| LoRA | 低秩参数高效微调方法 |
不要误解：prompt engineering 不等于模型真的改变了参数；fine-tuning 才会更新参数。对齐也不是让模型“变善良”这么简单，它是目标函数、偏好数据、安全策略和评估流程的组合。
Lecture 7：AI for Science
一句话：这一讲讨论深度学习如何进入科学发现流程。
AI for Science 不是简单把 AI 用在科学数据上。更完整的流程包括：提出假设、设计模拟或实验、用模型近似复杂系统、预测候选方案、评估不确定性、再反馈给下一轮实验。
flowchart LR
H["科学假设"] --> D["数据/模拟"]
D --> M["深度模型"]
M --> P["预测/候选方案"]
P --> U["不确定性检查"]
U --> E["实验或验证"]
E --> H
你要特别注意：科学问题中，预测准不等于机制对。模型可能学到相关性，但科学研究往往关心因果机制、可解释性和可重复验证。
和你的方向关系：复杂系统、极值风险、时间序列都可能使用深度学习做表示学习或预测，但必须保留领域约束和统计检验。
Lecture 8：Massively Parallel Training
一句话：这一讲解释为什么训练现代大模型不仅是算法问题，也是系统工程问题。
大模型训练受四类资源限制：计算量、显存、数据吞吐、通信带宽。模型越大，参数、梯度、优化器状态、中间激活都占用显存。单张 GPU 放不下时，就要并行训练。
核心概念：
| 概念 | 含义 |
|---|---|
| data parallelism | 不同 GPU 处理不同 batch，然后同步梯度 |
| model parallelism | 把模型不同部分放到不同 GPU |
| tensor parallelism | 把同一层矩阵计算拆到多个 GPU |
| pipeline parallelism | 不同层像流水线一样分配 |
| activation checkpointing | 用重复计算换显存 |
| communication bottleneck | GPU 之间同步数据成为瓶颈 |
你要会说：scaling 不是只把参数变大。数据量、计算预算、显存管理、并行策略和通信效率都会影响训练是否可行。
Lecture 9：Project Work / Presentations
一句话：最后一讲关注如何把一个深度学习想法组织成项目。
课程项目不是“我想试一个很厉害的模型”，而是要形成清晰结构：
| 项目部分 | 要回答的问题 |
|---|---|
| Problem | 解决什么具体问题 |
| Data | 数据来自哪里，是否可靠 |
| Baseline | 最简单可比较方法是什么 |
| Model | 为什么选择这个结构 |
| Evaluation | 用什么指标判断成功 |
| Risk | 可能失败在哪里 |
| Contribution | 相比已有方法多了什么 |
对你来说，最好的项目训练不是追求 SOTA，而是能把一个小问题完整讲清楚。比如用一个小数据集做分类，先建立 baseline，再用神经网络比较，并解释结果和局限。
最终复述模板
我把 MIT 6.S191 理解成一张深度学习地图：从基础神经网络训练流程出发，扩展到序列、图像、生成、决策、LLM、科学发现和大规模训练。每个主题都可以用 task、input、output、model、objective、evidence、limitation 来拆解。这样我后面做作业时不会只记模型名字，而是能判断数据是什么、目标是什么、训练什么、怎么验证。