TTiti的学习笔记
首页 / 综合实践 / 12_深度学习原理与经典论文路线/第03单元_对齐适配与生成模型.md

第 03 单元：对齐、适配与生成模型

综合实践 · 12_深度学习原理与经典论文路线/第03单元_对齐适配与生成模型.md

第 03 单元：对齐、适配与生成模型

一句话定义

这个单元回答一个问题：当大模型已经能生成和理解文本之后，我们如何让它更符合人类偏好、如何低成本适配任务、以及如何理解扩散模型这条生成路线。

解决什么问题

前两个单元已经覆盖表示学习、Transformer、预训练和规模规律。第 3 单元补齐三类现代深度学习研究问题：

  1. RLHF：模型会生成文本，但怎样让输出更符合人类偏好和指令？
  2. LoRA：大模型太大，怎样用较少参数完成微调？
  3. Diffusion：除了自回归生成，图像等连续数据还能怎样生成？

这条主线可以概括为：可用的大模型 -> 更符合偏好 -> 更便宜地适配 -> 另一类生成模型。

三篇论文的最小理解

论文最小问题核心直觉学习时不要陷入
RLHF如何让语言模型更符合人类偏好？先收集偏好，再训练 reward model，再优化 policy不要把 RLHF 简化成“人工审核一下”
LoRA如何低成本微调大模型？冻结原模型，只训练低秩增量矩阵不要以为 LoRA 改变了基础模型全部参数
Diffusion如何通过去噪生成样本？训练模型从噪声中逐步恢复数据不要一开始陷入复杂采样公式

RLHF 的直觉

RLHF 通常可以拆成三步：

  1. Supervised fine-tuning：用人工示范数据让模型学会基本回答格式。
  2. Reward model：给多个回答排序，训练一个偏好评分模型。
  3. Policy optimization：让语言模型生成更高 reward 的回答。

注意：reward model 学到的是人类偏好信号，不等同于严格事实正确性。

LoRA 的直觉

普通微调会更新大模型的很多参数，成本高、存储重。LoRA 的想法是：


原始线性层：y = xW

LoRA 线性层：y = xW + xBA * scale

其中 W 冻结，只训练低秩矩阵 A 和 B。如果 rank 很小，新增参数就少很多。

Diffusion 的直觉

Diffusion 可以理解为两个过程：

  1. Forward process：逐步给真实数据加噪声，直到接近纯噪声。
  2. Reverse process：训练模型预测噪声或去噪方向，从噪声逐步还原样本。

最小理解是：生成不是一次完成，而是通过多步去噪逐渐得到样本。

和本实验室方向的关系

  • RLHF：训练你理解“模型输出质量”不只看 loss，还涉及偏好、评价和反馈。
  • LoRA：适合资源有限时做模型适配，和课程项目/科研小实验关系很近。
  • Diffusion：帮助你理解生成模型、随机过程、去噪目标和逐步采样。

可以这样说：

我把 RLHF、LoRA 和 Diffusion 理解为大模型时代的三类关键补充：RLHF 处理人类偏好和对齐，LoRA 处理低成本任务适配，Diffusion 则代表另一条通过逐步去噪实现生成的模型路线。

学习路线

第 1 天：RLHF

  • 理解 SFT、reward model、policy optimization。
  • 画出 RLHF 三阶段流程。
  • 写出“偏好”与“事实正确性”的区别。

    • 任务：

  • 能解释 reward model 学到的不是绝对真理，而是训练数据中的偏好信号。

    • 验收：

第 2 天：LoRA

  • 理解 low-rank adaptation。
  • 跑通 dl_07_lora_linear.ipynb。
  • 计算 LoRA 新增参数量。

    • 任务：

  • 能解释为什么 rank 越小，训练参数越少。

    • 验收：

第 3 天：Diffusion

  • 理解 forward noising 和 reverse denoising。
  • 跑通 dl_08_diffusion_denoising_toy.ipynb。
  • 画出从数据到噪声、再从噪声回数据的流程图。

    • 任务：

  • 能解释 diffusion 和 GAN/autoregressive generation 的生成思路不同。

    • 验收：

第 4 天：综合复盘

  • 填完第 3 单元论文笔记包。
  • 准备一个 5 分钟汇报：RLHF、LoRA、Diffusion 分别解决什么问题。

    • 任务：

  • 能把三篇论文放到“大模型如何可用、可调、可生成”的框架中。

    • 验收：

交流时可以怎么说

我目前理解，RLHF 关注模型输出是否符合人类偏好，LoRA 关注如何用较少参数适配大模型，Diffusion 关注如何通过逐步去噪生成数据。它们不是同一类技术，但都出现在现代深度学习从“能训练大模型”走向“能实际使用大模型”的过程中。

可以追问老师/同学的问题

  1. RLHF 中 reward model 的偏差会如何影响最终模型？
  2. LoRA 的低秩假设什么时候可能不够用？
  3. Diffusion 的多步采样为什么通常比一次生成更稳定？
  4. 对小规模科研项目来说，LoRA 和全量 fine-tuning 应该如何选择？
  5. 如果生成质量和事实正确性冲突，应该如何设计评价指标？

给 AI 的高质量提示词


我正在学习 RLHF、LoRA、Diffusion 三篇论文。

请帮我把它们解释成“对齐、低成本适配、生成建模”三类问题。

要求：

1. 面向跨专业硕士新生

2. 先给直觉解释，再给专业表达

3. RLHF 要区分偏好和事实正确性

4. LoRA 要解释低秩矩阵和参数节省

5. Diffusion 要解释加噪和去噪过程

6. 最后给出 5 个组会追问

反向链接

人工智能