第六周复盘：RLHF、LoRA、Diffusion
第六周复盘：RLHF、LoRA、Diffusion
本周目标
理解现代深度学习从“模型能训练”走向“模型可用、可调、可生成”的三类问题：RLHF 对齐、LoRA 低成本适配、Diffusion 去噪生成。
本周完成证据
| 证据 | 文件或输出 | 是否完成 |
|---|---|---|
| Day36-Day42 学习记录 | daily_logs/Day36_学习记录.md 到 Day42_学习记录.md | |
| RLHF 个人笔记 | paper_notes/10_rlhf.md | |
| LoRA 个人笔记 | paper_notes/11_lora.md | |
| Diffusion 个人笔记 | paper_notes/12_diffusion.md | |
| LoRA notebook 检查 | dl_07_lora_linear.ipynb | |
| Diffusion notebook 检查 | dl_08_diffusion_denoising_toy.ipynb | |
| 自测题 22-26 | 自测题库.md | |
| RLHF 三阶段流程图 | daily_logs/Day36_学习记录.md |
本周应能回答的问题
- RLHF 通常分哪三个阶段？
- reward model 学到的是事实正确性还是偏好信号？
- LoRA 为什么省参数？
- LoRA 和全量 fine-tuning 的区别是什么？
- Diffusion 的 forward process 在做什么？
- reverse denoising 为什么需要神经网络？
- RLHF、LoRA、Diffusion 分别对应“对齐、适配、生成”中的哪一类？
本周薄弱点
1. 2. 3.
下周计划
下周主题：整合与查漏。
最小任务：
- 补全 12 篇论文矩阵。
- 做自测题库第一轮。
- 整理错题与薄弱点。
- 选择最终汇报主题和 notebook。