TTiti的学习笔记
首页 / 综合实践 / 12_深度学习原理与经典论文路线/12篇论文总知识图与查漏清单.md

12 篇论文总知识图与查漏清单

综合实践 · 12_深度学习原理与经典论文路线/12篇论文总知识图与查漏清单.md

12 篇论文总知识图与查漏清单

使用原则

这份文件用于第七周整合查漏。它不是新的背诵材料，而是把前六周的论文、notebook、示范答案与反例压成一张可检查的地图。使用方式是：先闭卷写自己的总图，再用本文件检查漏项、误解和夸大。

一句话总图

这 12 篇论文可以串成一条线：


表示学习 -> 深层结构优化 -> 注意力与序列建模 -> 预训练语言模型 -> 规模规律 -> 对齐与低成本适配 -> 去噪生成

对应论文：


word2vec -> ResNet -> Attention -> Transformer -> GPT/BERT -> GPT-3 -> Scaling Law/Chinchilla -> RLHF/LoRA -> Diffusion

更专业地说：

这组材料不是按“模型越来越新”机械排列，而是在回答深度学习研究中的几个核心问题：如何表示离散对象，如何训练更深的网络，如何建模序列依赖，如何通过预训练获得通用能力，规模扩大时性能如何变化，如何让大模型更符合人类需求并低成本适配，以及如何通过去噪目标生成样本。

三条主线

主线 1：表示学习到 Transformer

  • word2vec
  • ResNet
  • Attention
  • Transformer

    • 包含论文：

  • word2vec：离散词语如何变成可计算、可比较的 dense vector。
  • ResNet：网络变深后如何缓解优化困难。
  • Attention：序列生成时如何按相关性读取输入位置的信息。
  • Transformer：如何不用 RNN/CNN 也能高效建模序列。

    • 这条线解决的问题：

合格表达：

第一条线从“表示”走向“结构”。word2vec 解决词的向量表示问题，ResNet 解决深层网络训练困难，Attention 解决固定上下文瓶颈，Transformer 把 self-attention 变成主要序列建模结构。它们共同说明：深度学习的进步不只靠更多数据，也靠表示方式、连接结构和信息流设计。
  • 把 word2vec 只说成“词变向量”，但说不清 context window 和 negative sampling。
  • 把 ResNet 说成“防止过拟合”，但说不清 degradation problem。
  • 把 attention weight 直接当作因果解释。
  • 把 Transformer 说成“只有 attention”，但漏掉 positional encoding、multi-head、FFN、residual、layer norm。

    • 常见误解：

主线 2：预训练语言模型与规模规律

  • GPT
  • BERT
  • GPT-3
  • Scaling Law
  • Chinchilla

    • 包含论文：

  • GPT：用 autoregressive LM 做无监督预训练，再 fine-tune 到下游任务。
  • BERT：用 masked LM 学双向上下文表示。
  • GPT-3：展示大规模模型的 in-context learning 能力。
  • Scaling Law：用经验曲线描述 loss 与参数量、数据量、计算量的关系。
  • Chinchilla：在固定 compute budget 下重新平衡参数量和 token 数。

    • 这条线解决的问题：

合格表达：

第二条线从“预训练”走向“规模规律”。GPT 和 BERT 说明语言模型可以先从大规模未标注文本中学习通用表示，再适配任务；GPT-3 进一步展示了只通过 prompt 示例完成任务的 in-context learning；Scaling Law 和 Chinchilla 则提醒我们，能力提升不仅和参数量有关，还和数据量、计算预算、训练是否充分有关。
  • 把 GPT 论文等同于 ChatGPT 产品。
  • 把 BERT 的 MLM 只说成“填空”，但说不清双向上下文和 mask 位置 loss。
  • 把 in-context learning 误说成 fine-tuning。
  • 把 scaling law 说成严格数学定理。
  • 把 Chinchilla 简化成“数据越多越好”，但说不清 compute-optimal。

    • 常见误解：

主线 3：对齐、适配与生成模型

  • RLHF
  • LoRA
  • Diffusion

    • 包含论文：

  • RLHF：如何用人类偏好让模型输出更符合期望。
  • LoRA：如何低成本适配大模型。
  • Diffusion：如何通过加噪和去噪学习生成样本。

    • 这条线解决的问题：

合格表达：

第三条线关注模型训练之后如何被使用和扩展。RLHF 处理模型输出与人类偏好的对齐问题，LoRA 处理大模型适配成本问题，Diffusion 则展示另一类基于去噪目标的生成建模路线。它们说明现代深度学习研究不只关心 backbone，也关心训练目标、偏好数据、参数高效适配和生成过程。
  • 把 reward model 说成事实正确性判断器。
  • 把 LoRA 说成“省参数”但说不清 low-rank update。
  • 把 Diffusion 说成“加噪去噪”但说不清 noise prediction loss。

    • 常见误解：

12 篇论文互相关系表

论文它回答的问题它接住了前面什么问题它把问题交给后面什么方向
word2vec离散词如何表示one-hot 不能表达相似性embedding 成为 NLP 模型基础输入
ResNet深层网络如何更容易训练网络变深带来优化困难残差连接进入 Transformer 等结构
Attention序列生成如何动态读取信息固定 context vector 信息瓶颈self-attention 和 Transformer
Transformer如何并行建模序列依赖RNN 顺序计算和长距离依赖限制GPT、BERT 等预训练模型
GPT如何用自回归预训练获得通用能力Transformer decoder 可做 LMGPT-3 和生成式大模型
BERT如何学习双向上下文表示单向 LM 对理解任务有限encoder 表示和理解类任务适配
GPT-3大模型能否通过 prompt 完成任务GPT 预训练路线可扩展scaling、prompt、能力评估
Scaling Law规模扩大与 loss 如何相关大模型效果需要可预测规律compute/data/parameter 权衡
Chinchilla固定计算量下如何配参数和数据只堆参数可能训练不足compute-optimal 训练策略
RLHF如何让模型符合人类偏好预训练模型不一定有用、安全、诚实对齐、偏好建模、交互系统
LoRA如何低成本适配大模型full fine-tuning 成本高参数高效微调和多任务 adapter
Diffusion如何通过去噪目标生成样本生成建模不只有自回归文本图像生成、多模态生成

8 个 notebook 证据定位

notebook对应机制能证明什么不能证明什么
dl_01_word2vec_embeddings.ipynbskip-gram、negative sampling我理解 embedding、context window、正负样本完整大语料 word2vec 结果
dl_02_resnet_block.ipynbresidual block、projection shortcut我理解 F(x)+x 和 shape 对齐完整 ImageNet ResNet 实验
dl_03_attention_qkv.ipynbQ/K/V、scaled dot-product attention我理解 score、softmax、weighted sum完整 Transformer 训练
dl_04_mini_gpt_causal_lm.ipynbcausal LM、causal mask我理解 next-token loss 和 logits shapeGPT 论文大规模预训练
dl_05_bert_mlm_toy.ipynbmasked language modeling我理解 [MASK] 和 mask 位置 loss完整 BERT 预训练和下游评估
dl_06_scaling_law_chinchilla_toy.ipynbscaling toy curve、compute trade-off我理解参数、token、compute 的权衡真实 scaling law 拟合
dl_07_lora_linear.ipynblow-rank update我理解冻结权重和可训练参数量差异完整大模型 LoRA 微调
dl_08_diffusion_denoising_toy.ipynbforward noising、noise prediction我理解 denoising objective完整 DDPM 图像生成

第七周查漏清单

必须能闭卷回答的 12 个问题

  1. word2vec 为什么比 one-hot 更适合表达词语相似性？
  2. ResNet 解决的是过拟合还是优化困难？
  3. Attention 为什么缓解固定 context vector 的信息瓶颈？
  4. Transformer 为什么需要 positional encoding？
  5. GPT 的 causal mask 防止了什么问题？
  6. BERT 为什么可以使用双向上下文？
  7. in-context learning 和 fine-tuning 有什么区别？
  8. Scaling Law 为什么是经验规律而不是严格定理？
  9. Chinchilla 为什么强调 token 数？
  10. RLHF 的 reward model 学到的是事实正确性还是偏好信号？
  11. LoRA 为什么能减少可训练参数量？
  12. Diffusion 的 noise prediction loss 在训练什么？

必须能拿出证据的 8 个 notebook 点

  1. word2vec：一个 center/context 样本和 embedding shape。
  2. ResNet：x、F(x)、输出的 shape。
  3. Attention：Q、K、V、attention score 的 shape。
  4. mini GPT：causal mask 和 logits [batch, time, vocab_size]。
  5. BERT MLM：mask positions 和 masked target。
  6. Scaling/Chinchilla：toy loss 或最优配置。
  7. LoRA：base weight、A、B、rank、可训练参数量。
  8. Diffusion：clean sample、noise、predicted noise、loss。

必须承认的 6 个边界

  1. toy notebook 不是完整论文复现。
  2. attention weight 不是自动等于因果解释。
  3. scaling law 是经验规律，不是普遍定理。
  4. reward model 不是事实正确性判定器。
  5. LoRA 省参数不等于所有任务效果都更好。
  6. Diffusion toy denoising 不等于真实图像生成系统。

最终汇报选题建议

  • 你能用自己的话讲清研究问题。
  • 有对应 notebook 证据。
  • 能说出至少 3 个局限。
  • 能回答至少 5 个追问。
  • 不需要复现大规模训练才能讲清核心机制。

    • 优先选题标准：

  • Transformer：主线价值高，但要能讲清 Q/K/V、position、并行和边界。
  • word2vec：入门友好，适合证明你能从表示学习讲到训练目标。
  • ResNet：适合展示 shape 和结构直觉。
  • LoRA：适合连接大模型适配和 notebook 参数量证据。
  • Diffusion：适合展示生成模型直觉，但要避免只讲“加噪去噪”。

    • 更适合当前阶段的选题：

  • GPT-3、Scaling Law、Chinchilla：很重要，但容易因为不能复现大规模实验而讲得空泛。
  • RLHF：概念重要，但如果不熟悉 reinforcement learning，容易把 policy optimization 讲虚。

    • 较高风险选题：

给 AI 的总查漏提示词


请帮我检查这份 12 篇深度学习论文总知识图是否能作为第七周整合查漏证据。

要求：

1. 检查三条主线是否清楚：表示学习到 Transformer、预训练与规模规律、对齐适配与生成。

2. 检查每篇论文是否都有研究问题、核心机制、后续影响和局限边界。

3. 检查我是否把 toy notebook 误说成完整论文复现。

4. 检查我是否遗漏了 shape、loss、prompt、参数量或偏好排序这类可验证证据。

5. 指出最空泛的 5 句话，并给我 5 个追问。

6. 不要直接替我重写，只给修改建议。



我的总图：

【粘贴 Day43-Day49 工作纸或总知识图】