Day 37 学习记录：偏好数据与 reward model
Day 37 学习记录：偏好数据与 reward model
日期
-
今日任务
- 对应天数：Day 37
- 对应论文/概念：preference data、reward model、偏好与事实正确性
- 对应文件：
paper_notes/10_rlhf.md
90 分钟闭环记录
| 环节 | 计划 | 实际完成 | 证据 |
|---|---|---|---|
| 20 分钟概念 | 理解偏好排序不是事实验证 | ||
| 25 分钟论文 | 阅读 RLHF 中人类反馈和 reward model 部分 | ||
| 25 分钟表格 | 写一个偏好排序 toy 表格 | ||
| 10 分钟总结 | 写 reward model 可能有偏差的原因 | ||
| 10 分钟自测/AI 提问 | 做自测题 23 |
偏好排序 toy 表格
| prompt | 回答 A | 回答 B | 人类偏好 | 可能原因 |
|---|---|---|---|---|
今天还不懂的 3 个问题
1. 2. 3.
明天最小任务
- 理解 LoRA 的 low-rank adaptation。