Day 36 学习记录：RLHF 三阶段流程
Day 36 学习记录：RLHF 三阶段流程
日期
-
今日任务
- 对应天数：Day 36
- 对应论文/概念：RLHF、SFT、reward model、policy optimization
- 对应文件：
paper_notes/10_rlhf.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解 SFT、reward model、policy optimization | ||
| 25 分钟论文 | 读 RLHF 摘要和方法概览 | ||
| 25 分钟流程图 | 画 RLHF 三阶段流程 | ||
| 10 分钟总结 | 写一句话解释 RLHF 解决什么问题 | ||
| 10 分钟自测/AI 提问 | 做自测题 22 |
RLHF 三阶段流程图文字版
SFT -> Reward Model -> Policy Optimization：
-
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 区分偏好、reward 和事实正确性。