首页 / 综合实践 / 12_深度学习原理与经典论文路线/核心概念清单.md

核心概念清单

综合实践 · 12_深度学习原理与经典论文路线/核心概念清单.md

核心概念清单

使用方法

这不是背诵清单，而是学习进度表。每个概念至少达到三层：

直觉解释：能用自己的话说它在解决什么问题。
专业表达：能在课堂或组会中使用准确术语。
最小代码：能写一个 toy example 或解释 notebook 中对应代码。

第一组：神经网络基础

概念	一句话定义	必须会说清的问题	最小代码检查
Tensor	深度学习中承载数据和参数的多维数组	shape 为什么重要？	打印 batch、feature、embedding 的 shape
参数	模型中通过训练学到的数值	参数和超参数有什么区别？	查看 `model.parameters()`
前向传播	输入经过模型得到预测的过程	logits、probability、prediction 有何区别？	写一个 `forward`
损失函数	衡量预测和目标差距的函数	为什么训练要最小化 loss？	计算 cross entropy 或 MSE
梯度	loss 对参数变化的敏感程度	梯度告诉模型什么方向更新？	调用 `loss.backward()`
优化器	根据梯度更新参数的方法	SGD 和 Adam 直觉差别是什么？	用 optimizer 更新一步
过拟合	模型记住训练数据但泛化差	训练 loss 低不等于模型好，为什么？	画 train/test loss

第二组：表示学习

概念	一句话定义	必须会说清的问题	对应论文
one-hot	用稀疏向量表示离散符号	为什么 one-hot 不能表达语义相似？	word2vec
embedding	把离散对象映射成稠密向量	为什么相似词可能距离更近？	word2vec、BERT
context window	用周围词定义当前词的语境	窗口大小会影响学到什么关系？	word2vec
negative sampling	用少量负样本近似大词表训练	为什么能降低 softmax 成本？	word2vec

第三组：深层网络结构

概念	一句话定义	必须会说清的问题	对应论文
CNN	用卷积提取局部模式的网络	为什么适合图像？	ResNet
residual connection	让网络学习残差而不是完整映射	它主要缓解优化困难还是过拟合？	ResNet
normalization	稳定激活分布和训练过程的方法	batch norm/layer norm 出现在哪里？	ResNet、Transformer

第四组：Attention 与 Transformer

概念	一句话定义	必须会说清的问题	对应论文
attention	根据相关性加权汇总信息	权重能否直接等同于解释？	Attention
query/key/value	attention 中用于匹配和取值的三组向量	QK 相似度和 V 汇总分别做什么？	Transformer
self-attention	序列内部各位置互相关注	为什么能建模长距离依赖？	Transformer
multi-head attention	多组 attention 并行学习不同关系	多头比单头多了什么表达能力？	Transformer
positional encoding	给无递归结构补充位置信息	Transformer 为什么需要位置编码？	Transformer

第五组：预训练语言模型

概念	一句话定义	必须会说清的问题	对应论文
autoregressive LM	根据前文预测下一个 token	GPT 为什么适合生成？	GPT、GPT-3
masked LM	遮住部分 token 并预测它们	BERT 为什么能用双向上下文？	BERT
fine-tuning	在预训练模型基础上适配任务	和从零训练有什么不同？	GPT、BERT
in-context learning	模型通过提示中的例子完成任务	它是否等同于参数更新？	GPT-3

第六组：大模型训练与适配

概念	一句话定义	必须会说清的问题	对应论文
scaling law	性能随规模变化的经验规律	它是经验规律还是数学定理？	Scaling Law
compute-optimal	给定计算预算下合理分配参数和数据	Chinchilla 修正了什么误区？	Chinchilla
RLHF	用人类偏好训练更符合期望的模型	reward model 学到什么？	RLHF
LoRA	用低秩矩阵更新少量参数完成适配	为什么能减少训练成本？	LoRA

第七组：生成模型

概念	一句话定义	必须会说清的问题	对应论文
diffusion	通过加噪和去噪学习生成数据	forward 和 reverse 分别做什么？	Diffusion
denoising objective	训练模型预测噪声或干净样本	为什么去噪能变成生成？	Diffusion

口头验收句式

当你解释一个概念时，用这个格式：

我目前理解，____ 是为了解决 ____ 问题。它的核心做法是 ____。在论文/代码中，它通常表现为 ____。我还不确定的是 ____，所以我会进一步检查 ____。

反向链接

人工智能
数理统计