RLHF、LoRA、Diffusion 示范答案与反例：对齐、适配与生成
RLHF、LoRA、Diffusion 示范答案与反例：对齐、适配与生成
使用原则
这份文件只用于校准，不可以直接复制进 paper_notes/10_rlhf.md、paper_notes/11_lora.md、paper_notes/12_diffusion.md、daily_logs/Day36_学习记录.md 到 Day42_学习记录.md 或 结业证据档案.md。合格证据必须包含你自己的偏好排序例子、LoRA 参数量记录、Diffusion loss/输出记录，以及对 toy demo 边界的说明。
1. RLHF 想解决什么问题
不合格写法
RLHF 就是让人类给模型反馈。
- 只是展开缩写，没有说明为什么需要偏好对齐。
- 没有区分 SFT、reward model 和 policy optimization。
- 没有说明 reward model 学到的是偏好信号，不等同于事实真理。
问题：
可接受示范
RLHF 想解决的是：语言模型只靠 next-token prediction 可能会生成不符合人类偏好、不够有帮助或不够安全的回答。典型流程包括三步：先用人工示范数据做 supervised fine-tuning，让模型学会基本回答格式；再用人类偏好排序训练 reward model；最后用 policy optimization 调整模型，使输出更符合 reward model 代表的人类偏好。
你必须自己补
- 一个我自己写的 prompt：
- response A / response B：
- 人类更喜欢哪个，为什么：
- 我理解 RLHF 不能保证什么：
2. reward model 学到什么
不合格写法
reward model 判断回答对不对。
- 把偏好信号误说成事实标准答案。
- 没有说明偏好数据来自比较或排序。
- 没有指出 reward hacking、偏好偏差等边界。
问题：
可接受示范
reward model 学到的是在给定 prompt 下，人类更偏好哪类回答的信号，而不是直接学到世界事实或数学真理。它通常根据 response pair 的人类排序训练，用来给候选回答打分。这个分数可以指导 policy optimization，但如果偏好数据有偏差，或者模型学会迎合 reward model 的漏洞，仍可能产生不真实或不可靠的输出。
你必须自己补
- 偏好数据和标准答案的区别：
- reward model 可能出错的例子：
- RLHF 的至少 3 个局限：
3. LoRA 为什么省参数
不合格写法
LoRA 就是低成本微调。
- 结论对，但没有机制。
- 没有说明冻结 base model。
- 没有说明 low-rank update 和参数量差异。
问题：
可接受示范
LoRA 的核心思路是在微调时冻结原始大模型权重，只训练一个低秩增量。对于一个原始权重矩阵W，full fine-tuning 会直接更新W的全部参数；LoRA 则用两个较小矩阵A和B构造低秩更新BA，只训练这部分新增参数。因为 rank 通常远小于原始维度，所以可训练参数量、存储成本和显存开销都更低。
你必须自己补
- base weight 的 shape：
- LoRA A 的 shape：
- LoRA B 的 shape：
- rank：
- trainable parameters 和 full fine-tuning parameters 的对比：
4. LoRA 和 full fine-tuning 的差异
不合格写法
LoRA 比 full fine-tuning 更好。
- “更好”没有条件。
- 没有说明成本、效果和适用场景的权衡。
- 没有说明 LoRA 也有容量限制。
问题：
可接受示范
LoRA 更适合资源有限、需要为多个任务保存轻量 adapter、或者不希望改动 base model 的场景。full fine-tuning 更新全部参数，容量更大，但成本更高，也更难为多个任务分别保存。LoRA 的局限是低秩增量表达能力有限，rank、插入层位置和任务差异都会影响效果。
你必须自己补
| 维度 | LoRA | full fine-tuning |
|---|---|---|
| 更新参数 | ||
| 存储成本 | ||
| 适用场景 | ||
| 局限 |
5. Diffusion 的 forward noising 和 reverse denoising
不合格写法
Diffusion 就是先加噪再去噪。
- 只有直觉，没有训练目标。
- 没有说明 forward process 和 reverse process 的角色。
- 没有连接 noise prediction loss。
问题：
可接受示范
Diffusion 模型的 forward process 会逐步把干净样本加入噪声，直到样本接近纯噪声；reverse process 学习从噪声逐步恢复出样本。训练时常见做法是随机选一个时间步，把干净样本加噪后输入模型，让模型预测加入的噪声。noise prediction loss 衡量预测噪声和真实噪声的差距，从而让模型学会去噪方向。
你必须自己补
- clean sample 的 shape：
- noise 的 shape：
- noisy sample 的 shape：
- predicted noise 的 shape：
- loss 趋势或数值：
6. Diffusion notebook 复现了什么，没有复现什么
不合格写法
notebook 复现了 Diffusion。
- toy denoising 不能等同于完整扩散模型复现。
- 没有说明是否包含多步采样、真实图像、U-Net、schedule。
- 没有记录 loss 或输出。
问题：
可接受示范
这个 notebook 复现的是 diffusion 的教学型核心直觉：构造干净样本、加入噪声、训练模型预测噪声，并用 loss 衡量 predicted noise 和真实 noise 的差距。它没有复现完整 DDPM 的噪声 schedule、多步 reverse sampling、U-Net 架构、真实图像数据集、大规模训练和图像质量评估。因此它只能证明我理解 noise prediction objective，不能说完整复现了 Diffusion 论文结果。
你必须自己补
- 我看到的 loss：
- 我看到的输出变化：
- 没有复现的至少 4 个部分：
7. 三篇论文的关系
不合格写法
RLHF、LoRA、Diffusion 都是大模型技术。
- 太宽泛。
- 没有说明三者解决的问题不同。
- 没有连接到“对齐、适配、生成”的主线。
问题：
可接受示范
RLHF、LoRA、Diffusion 分别对应现代模型使用中的三类问题：RLHF 关注模型输出如何更符合人类偏好，LoRA 关注如何用较低成本把大模型适配到新任务，Diffusion 关注如何通过噪声建模生成样本。三者不在同一个技术层级上，但共同说明深度学习研究不只是设计 backbone，也包括训练目标、对齐方式、适配成本和生成过程。
你必须自己补
- RLHF 的一句话贡献：
- LoRA 的一句话贡献：
- Diffusion 的一句话贡献：
- 它们和前面 GPT/Scaling 的连接：
8. 能放进第六周复盘的 90 秒版本
下面是结构示例，不是可复制答案：
第六周的三篇论文分别对应对齐、适配和生成。RLHF 用人类偏好排序训练 reward model，再通过 policy optimization 让模型输出更符合偏好，但 reward 不等同于事实正确性。LoRA 冻结 base model，只训练低秩增量矩阵，从而降低微调时的可训练参数量和存储成本。Diffusion 通过 forward noising 构造带噪样本，再训练模型预测噪声，使 reverse denoising 可以逐步生成样本。我的 LoRA 和 Diffusion notebook 只复现了参数量对比和 noise prediction 的 toy 机制，没有复现完整大规模训练。
- 一个偏好排序 toy 表格。
- 一个 LoRA 参数量记录。
- 一个 Diffusion loss 或输出记录。
- 一个你准备向老师或同学追问的问题。
你需要改成自己的版本，并补入：
9. 给 AI 的检查提示词
请检查我对 RLHF、LoRA、Diffusion 的论文笔记和第六周复盘稿是否像真实理解，而不是复制概念。
要求：
1. 判断我是否说清 RLHF 的 SFT、reward model、policy optimization 三阶段。
2. 检查我是否把 reward model 误说成事实正确性判断器。
3. 检查我是否说清 LoRA 的冻结 base model、low-rank update、参数量对比。
4. 检查我是否说清 Diffusion 的 forward noising、reverse denoising 和 noise prediction loss。
5. 检查我是否区分了 toy notebook 和完整论文复现。
6. 指出最空泛的 3 句话，并追问我 3 个问题。
7. 不要直接替我写最终答案，只给修改建议和必须补充的证据。
我的内容：
【粘贴 RLHF/LoRA/Diffusion 工作纸、paper_notes/10-12 或复盘稿】