MIT 6.S191 课前概念地图
MIT 6.S191 课前概念地图
来源：<https://introtodeeplearning.com/> 用途：看 MIT 6.S191 录像前，用最小概念集降低听课阻力。
第一层：所有讲都会反复出现
| 概念 | 一句话定义 | 你要能回答的问题 |
|---|---|---|
| tensor | 承载数据和参数的多维数组 | 这个变量的 shape 是什么 |
| parameter | 模型通过训练学到的数值 | 它和 hyperparameter 有什么区别 |
| forward pass | 输入经过模型得到输出 | logits、probability、prediction 有何区别 |
| loss function | 衡量预测和目标差距的函数 | 当前任务为什么用这个 loss |
| gradient | loss 对参数变化的敏感度 | 梯度告诉模型如何更新 |
| backpropagation | 用链式法则计算梯度的算法 | 它不是一种模型，而是一种训练计算方法 |
| optimizer | 根据梯度更新参数的方法 | SGD 和 Adam 的直觉差别是什么 |
第二层：按课程主题组织
| 主题 | 核心概念 | 判断标准 |
|---|---|---|
| Intro to Deep Learning | neuron, layer, activation, loss, gradient descent | 能画出输入到输出再到 loss 的流程 |
| Sequence Modeling | token, embedding, RNN, attention, Transformer | 能解释为什么序列需要上下文 |
| Computer Vision | convolution, filter, feature map, pooling | 能解释 CNN 为什么适合图像 |
| Generative Modeling | latent variable, decoder, diffusion, denoising | 能说明生成不是复制训练样本 |
| Reinforcement Learning | agent, state, action, reward, policy | 能区分监督学习标签和 RL 奖励 |
| LLM / Fine-tuning | pretraining, fine-tuning, prompt, alignment | 能解释预训练和下游任务的关系 |
| AI for Science | surrogate model, hypothesis, simulation, uncertainty | 能说明 AI 如何辅助但不替代科学假设 |
| Parallel Training | GPU, batch, data parallelism, model parallelism, memory | 能解释大模型训练为什么受显存和通信限制 |
课前自测
每个问题用 2-3 句话回答即可。
- 为什么神经网络训练要最小化 loss？
X @ W + b里每个符号代表什么？- 为什么 shape 错误是深度学习代码里最常见的问题之一？
- cross entropy 和 MSE 分别常用于什么任务？
- embedding 为什么比 one-hot 更适合表示词？
- CNN 的卷积核在图像中寻找什么？
- attention 中 Q、K、V 分别做什么？
- 生成模型和分类模型的输出目标有什么不同？
- 强化学习为什么不能简单等同于监督学习？
- 大模型训练为什么不仅是“模型变大”，还涉及数据、显存、通信和工程约束？
最低达标表达
我现在先把深度学习看成一个训练流程：输入数据经过模型得到预测，预测和目标计算 loss，再通过 backpropagation 得到梯度，optimizer 根据梯度更新参数。不同模型结构的差别，主要体现在它们如何表示数据、如何建模依赖关系，以及适合解决什么任务。