RLHF 个人论文笔记

综合实践 · 12_深度学习原理与经典论文路线/paper_notes/10_rlhf.md

RLHF 个人论文笔记

基本信息

• 标题：Training language models to follow instructions with human feedback
• 年份：2022
• 主题：人类反馈 / 对齐
• 对应 notebook：不强行复现 PPO，使用三阶段流程图和偏好排序讲义

一句话总结

这篇论文主要研究：如何让语言模型更符合人类偏好和指令。

研究问题

-

方法

• 使用了什么模型或方法：
• 为什么适合这个问题：
• 我还不理解的技术细节：

和最小复现的关系

• 讲义复现了论文中的哪一个核心流程：
• 没有覆盖论文的哪些部分：
• 我能解释的 SFT / reward model / policy optimization：

5 分钟组会稿

大家好，我今天汇报的论文是 RLHF。这篇论文关注的问题是……

可能被追问的问题

1. 2. 3. 4. 5.

理解边界声明

我目前能解释：

-

我还不能声称掌握：

-