让语言模型更听懂“你想要什么”InstructGPT 与 RLHF

论文：Long Ouyang 等，Training language models to follow instructions with human feedback，2022（arXiv:2203.02155）

一、结论先行

这篇论文解决的不是“怎样让模型记住更多知识”，而是“怎样让模型的回答更符合用户意图”。作者在 GPT-3 之后加上人类反馈训练：先让人示范好答案，再让人比较多个模型答案，最后把这种偏好变成奖励来优化模型。论文将所得模型称为 InstructGPT。（来源：摘要；§1；§3.1）

记住三点：

1. 训练目标比参数量更关键。 在作者的 API 提示词测试分布上，1.3B 参数的 InstructGPT 回答比 175B GPT-3 更受标注员偏好；这是特定人评条件下的结果，不代表小模型在所有能力上都胜过大模型。（来源：摘要；§1；图 1）
2. 人类偏好被做成了可学习的信号。 示范教模型起步，排序教奖励模型判断哪个回答更好，PPO 再推动语言模型获得更高奖励。（来源：§3.1）
3. “更听话”不等于“完全安全”。 模型对齐的是约 40 名标注员与研究者所定义的偏好；它仍会编造事实、产生偏见，甚至服从有害指令。（来源：§3.4；§5.2–5.3）

二、问题：会续写，不等于会帮人

预训练语言模型主要学习“互联网文本中下一个词是什么”，用户真正需要的却是“按要求完成任务，并尽量有帮助、真实、无害”。两个目标并不相同。继续扩大模型，可能增强生成能力，却不会自动消除答非所问、虚构事实或有害输出。（来源：§1）

论文把实际目标概括为 helpful、honest、harmless。但这些概念不能直接写成一个简单公式：同一问题可能有多种合格答案，真实用户的意图也常常含混。因此，作者转而收集人类对答案的示范与相对偏好。（来源：§1；§3.6）

三、方法：把“这个回答更好”接进训练回路

第一步：示范。 标注员针对提示词写出理想回答，作者用约 13,000 个训练提示词组成的 SFT 数据集，对 GPT-3 做监督微调。模型先学会一种可用的回答方式。（来源：§3.1–3.2；表 6）

第二步：比较。 对同一提示词生成多个候选回答，让标注员排序；约 33,000 个训练提示词的排序数据用于训练一个 6B 参数的奖励模型。它接收“提示词＋回答”，输出一个标量分数，用来预测人更偏好哪个答案。（来源：§3.1–3.2；§3.5；表 6）

第三步：优化。 作者用 PPO 按奖励模型的分数继续更新 SFT 模型，并加入与 SFT 模型的 KL 惩罚，避免为了刷高奖励而偏离过远。主要版本 PPO-ptx 还混入预训练目标，以减少传统 NLP 任务上的性能回退。（来源：§3.5，公式 2）

这套机制的关键不是让人逐条写出所有规则，而是让人对具体答案做选择，再让奖励模型把有限比较推广到更多提示词。代价是：奖励模型学到的不是抽象的“人类价值”，而是这批标注数据中可预测的偏好。（来源：§3.1；§5.2）

四、证据与边界：明显更合意，但远未解决安全

最直接的证据来自作者保留客户的 API 提示词测试集。175B InstructGPT 与 175B GPT-3 直接比较时，前者有 85% ± 3% 的回答被偏好；与经过精心 few-shot 提示的 175B GPT-3 比较时为 71% ± 4%。更醒目的结果是，1.3B InstructGPT 也胜过 175B GPT-3。（来源：§4.1；图 1）

行为指标也有改善：在封闭域任务中，论文报告的幻觉率由 GPT-3 的 41% 降到 InstructGPT 的 21%；在要求“尊重地回答”时，RealToxicityPrompts 上约少 25% 的有毒输出。PPO-ptx 还缓解了多数传统 NLP 基准上的“对齐税”，但在 DROP、SQuADv2 和翻译上仍落后于 GPT-3。（来源：§1；§4.2）

这些结果有四条重要边界：

• 主要人评来自与训练数据同源的 API 使用分布；虽然测试用户与训练用户分开，它仍不是所有现实场景。（来源：§3.2；§3.6）
• 数据超过 96% 为英语，标注团队约 40 人，不能代表所有语言、文化或受影响群体。（来源：§3.3–3.4；§5.3）
• 多数比较因成本只由一名标注员完成；分歧被压成单一排序时，平均偏好未必公平。（来源：§5.3）
• 毒性改善依赖提示方式：移除“尊重”提示后优势消失；明确要求有毒输出时，InstructGPT 甚至比同尺寸 GPT-3 更有毒。偏见基准也没有显著改善。（来源：§4.2；§5.3）

五、实际意义：把模型开发看成行为设计

对产品与模型团队而言，这篇论文改变了优化顺序：如果目标是让系统更好用，继续堆参数未必是最高回报；高质量的真实任务、明确的标注规范、可靠的偏好评估，可能更直接地改变用户体验。作者报告，175B SFT 与 PPO-ptx 训练分别需 4.9 和 60 petaflops/s-days，而 GPT-3 预训练为 3,640 petaflops/s-days；这支持“后训练成本相对较小”的判断，但不是所有项目的通用成本承诺。（来源：§5.1）

更重要的是建立持续闭环：收集失败案例，检查谁在定义“好”，分群观察效果，并同时保留任务能力、安全性与公平性评测。RLHF 能让模型更贴近被测偏好，却不能替团队回答“该听谁的”“偏好冲突怎么办”“哪些请求必须拒绝”。这三问不是论文已经解决的结论，而是从其局限推导出的产品治理问题。

---

研究附录

证据台账

术语

• SFT（监督微调）：用人类写出的理想回答继续训练预训练模型。
• 奖励模型（RM）：根据“提示词＋回答”预测人类偏好，并输出一个分数。
• RLHF（基于人类反馈的强化学习）：用人类反馈训练奖励信号，再据此优化模型行为。
• PPO：本文用于最大化奖励模型分数的强化学习算法。
• PPO-ptx：PPO 训练中混入预训练目标的版本，旨在减少能力回退；论文通常用它指代 InstructGPT。
• 对齐税：为了改善对齐行为而在其他任务上损失的性能。

不确定性与复核问题

1. 如果标注员来自不同语言、文化或利益相关群体，偏好结果会改变多少？论文只做了同供应商留出标注员的初步检验。
2. 奖励模型在训练分布之外是否会被系统性“钻空子”？论文使用 KL 惩罚缓解过度优化，但没有证明问题消失。
3. 真实性、毒性与偏见指标只是代理测量；它们能否预测具体部署中的真实伤害，论文没有建立因果证据。
4. 结果基于 2022 年的 GPT-3 家族与当时的 API 分布；迁移到其他架构、数据和交互形态需要重新验证。

来源定位

• arXiv 摘要页
• 论文全文 PDF
• 重点位置：§3.1 方法总览；§3.2–3.5 数据与训练；§3.6 评估定义；§4.1–4.2 结果；§5.2 对齐谁；§5.3 局限；附录表 6 数据规模。