第 03 单元论文笔记包
第 03 单元论文笔记包
使用方法
本单元的重点是区分三类问题：对齐、适配、生成。每篇论文只先抓一个核心机制。
1. RLHF
论文：Training language models to follow instructions with human feedback
- 用人类反馈训练语言模型，使其输出更符合指令和偏好。
一句话贡献：
- 语言模型预训练后不一定按照人类希望的方式回答，需要偏好反馈进行对齐。
它解决的问题：
- supervised fine-tuning。
- reward model。
- reinforcement learning / policy optimization。
核心方法：
- 不强行复现 PPO；先画三阶段流程图，并用小表格模拟偏好排序和 reward model 的含义。
最小复现：
- preference data。
- reward model。
- policy model。
- 偏好不等于事实正确性。
我需要会解释：
我还不懂的地方： -
- 如果 reward model 学到错误偏好，最终模型会出现什么问题？
可以追问：
2. LoRA
论文：LoRA: Low-Rank Adaptation of Large Language Models
- 冻结大模型原参数，只训练低秩增量矩阵，从而低成本微调模型。
一句话贡献：
- 全量微调大模型成本高、存储重，不适合频繁适配多个任务。
它解决的问题：
- frozen base weights。
- low-rank matrices。
- adapter-style parameter-efficient fine-tuning。
核心方法：
../07_notebooks/dl_07_lora_linear.ipynb
最小复现：
- matrix rank。
- 为什么
BA的参数比完整W少。 - LoRA 更新的是增量，不是直接改完整权重。
我需要会解释：
我还不懂的地方： -
- LoRA 的 rank 应该如何选择？rank 太小会限制什么？
可以追问：
3. Diffusion
论文：Denoising Diffusion Probabilistic Models
- 通过逐步加噪和学习反向去噪过程，实现高质量生成。
一句话贡献：
- 如何用概率建模和去噪目标生成复杂数据样本。
它解决的问题：
- forward noising process。
- reverse denoising process。
- noise prediction / denoising objective。
核心方法：
../07_notebooks/dl_08_diffusion_denoising_toy.ipynb
最小复现：
- 为什么 forward process 可以逐步把数据变成噪声。
- reverse process 为什么需要模型学习。
- toy denoising 和真实图像 diffusion 的差别。
我需要会解释：
我还不懂的地方： -
- Diffusion 的多步采样为什么通常计算更慢，但生成质量更好？
可以追问：
5 分钟汇报稿模板
大家好，我今天汇报的是第 3 单元：RLHF、LoRA 和 Diffusion。我把它们理解为现代深度学习从“模型能训练”到“模型能实际使用”的三个关键补充。RLHF 解决的是模型输出如何符合人类偏好和指令的问题；LoRA 解决的是大模型如何低成本适配具体任务的问题；Diffusion 解决的是如何通过逐步去噪实现生成的问题。
这三篇论文不属于同一种方法，但它们共同说明：现代深度学习不仅关心模型结构和规模，还关心人类反馈、训练成本和生成过程。目前我能解释它们的核心机制和 toy demo，但还不能声称掌握完整 PPO 训练、大规模 LoRA 微调或真实图像扩散模型实现。
本单元自测
- RLHF 通常分哪三个阶段？
- reward model 学到的是事实正确性还是偏好信号？
- LoRA 中为什么低秩矩阵能减少训练参数？
- LoRA 和全量 fine-tuning 的区别是什么？
- Diffusion 的 forward process 在做什么？
- reverse denoising 为什么需要神经网络？
- 这三篇论文分别对应“对齐、适配、生成”中的哪一类？