自测题库
自测题库
使用方法
先闭卷回答，再看要点。答不出来不是失败，而是定位下一步要补的地方。
自动抽取当天自测题
在仓库根目录运行：
& 'C:\Users\小王神棍\.cache\codex-runtimes\codex-primary-runtime\dependencies\python\python.exe' '12_深度学习原理与经典论文路线\scripts\self_test.py' --day 16
默认只显示题目，不显示合格要点。答完后再运行：
& 'C:\Users\小王神棍\.cache\codex-runtimes\codex-primary-runtime\dependencies\python\python.exe' '12_深度学习原理与经典论文路线\scripts\self_test.py' --day 16 --show-keys
也可以指定主题，例如：
& 'C:\Users\小王神棍\.cache\codex-runtimes\codex-primary-runtime\dependencies\python\python.exe' '12_深度学习原理与经典论文路线\scripts\self_test.py' --topic attention --limit 3
日常更推荐直接运行 scripts/study_dashboard.py --day N，它会把当天任务、间隔复习、自测题、证据目标和证据缺口一起输出。
A. 基础概念
1. tensor 的 shape 为什么重要？
- shape 决定矩阵乘法、batch 维度、序列长度、特征维度是否匹配。
- 很多深度学习 bug 本质是 shape 不一致。
合格要点：
2. loss、gradient、optimizer 三者关系是什么？
- loss 衡量预测误差。
- gradient 表示参数变化对 loss 的影响方向。
- optimizer 用 gradient 更新参数。
合格要点：
3. 过拟合为什么不能只看训练 loss？
- 训练 loss 低可能只是记住训练数据。
- 需要验证集/测试集检查泛化。
合格要点：
B. word2vec
4. one-hot 和 embedding 有什么区别？
- one-hot 稀疏、维度高、不能直接表达相似性。
- embedding 稠密、可学习、相似词可能距离更近。
合格要点：
5. skip-gram 在预测什么？
- 给定中心词，预测上下文词。
- context window 决定正样本范围。
合格要点：
6. negative sampling 为什么有用？
- 避免每次对整个词表做 softmax。
- 用少量负样本训练模型区分真实上下文和随机词。
合格要点：
C. ResNet
7. ResNet 解决的是过拟合还是优化困难？
- 主要针对深层网络 degradation/optimization difficulty。
- 不是简单等同于防过拟合。
合格要点：
8. F(x) + x 中 x 的作用是什么？
- shortcut/identity path 保留输入。
- block 学习残差
F(x)。
合格要点：
9. projection shortcut 为什么需要？
- 当通道数或空间尺寸不一致时，
F(x)和x不能直接相加。 - 用 1x1 convolution 等方式匹配 shape。
合格要点：
D. Attention 与 Transformer
10. Q、K、V 分别是什么？
- Q 用来发起查询。
- K 用来和 Q 匹配计算相关性。
- V 是被加权汇总的信息。
合格要点：
11. attention weight 能不能直接当作因果解释？
- 不能自动等同于因果解释。
- 它表示模型内部加权机制，解释性需要额外验证。
合格要点：
12. Transformer 为什么需要 positional encoding？
- self-attention 本身不包含顺序信息。
- 需要显式加入位置表示。
合格要点：
13. Transformer 相比 RNN 的优势是什么？
- 更容易并行训练。
- 所有位置可以直接交互，利于长距离依赖。
合格要点：
E. GPT、BERT、GPT-3
14. GPT 的训练目标是什么？
- autoregressive next-token prediction。
- 根据前文预测下一个 token。
合格要点：
15. causal mask 的作用是什么？
- 防止当前位置看到未来 token。
- 保持生成任务的自回归设定。
合格要点：
16. BERT 的 MLM 在做什么？
- 遮住部分 token。
- 用左右上下文预测被遮住的 token。
合格要点：
17. GPT 和 BERT 的任务差异是什么？
- GPT 更自然适合生成。
- BERT 更自然适合理解、分类、匹配。
合格要点：
18. in-context learning 和 fine-tuning 有什么区别？
- in-context learning 不更新模型参数。
- fine-tuning 通过梯度更新参数。
合格要点：
F. Scaling Law 与 Chinchilla
19. Scaling Law 是理论定理吗？
- 不是严格数学定理，而是经验规律。
- 依赖模型、数据、训练设置和拟合范围。
合格要点：
20. Chinchilla 主要修正了什么误区？
- 不是参数越多越好。
- 给定 compute budget 时，参数量和训练 token 数要平衡。
合格要点：
21. undertrained model 是什么意思？
- 参数量很大，但训练 token/训练步骤不足。
- 模型潜力没有充分训练出来。
合格要点：
G. RLHF、LoRA、Diffusion
22. RLHF 通常分哪三步？
- supervised fine-tuning。
- reward model。
- policy optimization。
合格要点：
23. reward model 学到的是事实正确性吗？
- 不一定。
- 它主要学习偏好数据中的排序信号，可能有偏差。
合格要点：
24. LoRA 为什么省参数？
- 冻结原权重。
- 只训练低秩矩阵
A和B。 - rank 小时参数量远小于完整矩阵。
合格要点：
25. Diffusion 的 forward process 在做什么？
- 逐步给真实数据加噪。
- 最后接近简单噪声分布。
合格要点：
26. Diffusion 的 reverse process 为什么需要模型？
- 从噪声恢复数据的反向过程未知。
- 神经网络学习预测噪声或去噪方向。
合格要点：
H. 综合表达
27. 12 篇论文可以分成哪三组？
- 表示学习到 Transformer。
- 预训练语言模型与规模规律。
- 对齐、适配与生成模型。
合格要点：
28. 最小复现和完整论文复现有什么区别？
- 最小复现只复现核心机制。
- 完整复现需要数据、模型规模、训练细节、评估指标接近论文。
合格要点：
29. 这些论文和跨专业入学准备有什么关系？
- 帮助建立专业表达。
- 帮助读懂现代 AI 论文。
- 帮助用 PyTorch 和 AI 工具完成课程项目。
合格要点：
30. 如果只选一篇论文做组会，你会怎么选？
- 说明选择理由。
- 说明研究问题、方法、notebook 复现点和理解边界。
合格要点：