RLHF、LoRA、Diffusion 阅读、代码与复盘工作纸
RLHF、LoRA、Diffusion 阅读、代码与复盘工作纸
一句话目标
用第六周理解三类现代深度学习问题：RLHF 让模型更符合人类偏好，LoRA 让大模型更低成本适配，Diffusion 通过加噪和去噪生成样本。
Day 36：RLHF 三阶段
1. RLHF 想解决什么问题？
我的回答：
2. SFT / reward model / policy optimization 分别是什么？
SFT：
Reward model：
Policy optimization：
3. 画出三阶段流程
4. reward model 学到的是事实正确性还是偏好信号？
我的回答：
Day 37：偏好与 reward
1. 写一个偏好排序 toy 表格
| prompt | response A | response B | 人类更喜欢 | 可能原因 |
|---|---|---|---|---|
2. 偏好数据和标准答案有什么区别？
3. RLHF 没有保证什么？
1. 2. 3.
Day 38：LoRA 直觉
1. LoRA 想解决什么问题？
2. 什么是 low-rank update？
3. 为什么冻结 base model 可以省成本？
4. LoRA 和 full fine-tuning 的区别
| 维度 | LoRA | full fine-tuning |
|---|---|---|
| 更新哪些参数 | ||
| 显存/存储成本 | ||
| 适用场景 | ||
| 局限 |
Day 39：LoRA notebook
1. notebook shape/参数量记录
| 对象 | shape 或数量 | 含义 |
|---|---|---|
| base weight | ||
| LoRA A | ||
| LoRA B | ||
| rank | ||
| trainable parameters | ||
| full fine-tuning parameters |
2. 这个 notebook 复现了 LoRA 的哪一小部分？
3. 没有复现哪些论文内容？
1. 2. 3.
Day 40：Diffusion 直觉
1. Diffusion 想解决什么问题？
2. forward noising 是什么？
3. reverse denoising 是什么？
4. 为什么训练目标常可以理解为 noise prediction？
Day 41：Diffusion notebook
1. notebook 输出记录
| 对象 | shape/值/趋势 | 含义 |
|---|---|---|
| clean sample | ||
| noise | ||
| noisy sample | ||
| predicted noise | ||
| loss |
2. 这个 toy demo 复现了什么直觉？
3. 没有复现哪些论文内容？
1. 2. 3.
Day 42：三篇论文笔记与第六周复盘
RLHF 一页笔记
一句话贡献：
核心流程：
局限边界：
LoRA 一页笔记
一句话贡献：
核心机制：
局限边界：
Diffusion 一页笔记
一句话贡献：
核心机制：
局限边界：
第六周自测题 22-26
22. RLHF 通常分哪几个阶段？
我的回答：
修正后回答：
23. reward model 学到的是什么？
我的回答：
修正后回答：
24. LoRA 为什么省参数？
我的回答：
修正后回答：
25. Diffusion 的 forward process 在做什么？
我的回答：
修正后回答：
26. noise prediction loss 在训练什么？
我的回答：
修正后回答：
第六周证据汇总
| 证据 | 位置 | 是否完成 | 还缺什么 |
|---|---|---|---|
| Day36-Day42 学习记录 | daily_logs/Day36_学习记录.md 到 Day42_学习记录.md | ||
| RLHF 个人笔记 | paper_notes/10_rlhf.md | ||
| LoRA 个人笔记 | paper_notes/11_lora.md | ||
| Diffusion 个人笔记 | paper_notes/12_diffusion.md | ||
| LoRA notebook 参数量记录 | daily_logs/Day39_学习记录.md 或本工作纸 | ||
| Diffusion notebook loss 记录 | daily_logs/Day41_学习记录.md 或本工作纸 | ||
| 第六周复盘 | daily_logs/第六周复盘.md |
进入整合查漏前必须讲清的 3 件事
1. 2. 3.