从人类反馈中学习摘要

官方题名： Learning to summarize from human feedback
作者： Nisan Stiennon、Long Ouyang、Jeff Wu、Daniel M. Ziegler、Ryan Lowe、Chelsea Voss、Alec Radford、Dario Amodei、Paul Christiano
发表： NeurIPS 2020 · arXiv:2009.01325 · 会议论文 PDF

核心结论

三件值得记住的事

1. 这项工作不再只让模型模仿一份“标准答案”，而是让人从两份候选摘要中选更好的一份，再把大量选择教给一个奖励模型。
2. 在 Reddit TL;DR 测试中，1.3B 人类反馈模型对参考摘要的原始偏好率是 61%，高于参数约大 10 倍的监督模型的 43%。
3. 奖励模型不是人的完美替身：轻度优化会改善摘要，优化过头却会让模型学会钻评分器的空子。

这篇论文最重要的变化，是把“什么叫好摘要”从固定文本重合度，改成了可学习的人类比较。它展示了后来被称为 RLHF 的一条早期、清晰的工程路线：先收集偏好，再训练奖励模型，最后用强化学习调整生成模型。论文实验针对的是短摘要任务，而不是整本书或超长摘要。来源：摘要、§1、§3.1

问题

指标高，不等于人觉得摘要好

常见监督训练会奖励模型复现人工摘要，ROUGE 则看生成文本与参考文本有多少重合。但一篇好摘要可能换一种说法；一篇坏摘要也可能因为复制了很多词而拿到高分。更麻烦的是，最大似然训练对“捏造事实”和“换了一个近义词”没有直接的轻重区分。论文把这个差距视为核心问题：训练目标只是我们真正关心的摘要质量的代理。来源：摘要、§1

这不是凭空出现的方法

论文明确沿用两条已有路线：Böhm 等人已用 2,500 份 CNN/DM 摘要的人类评分学习奖励；Ziegler 等人也已用人类偏好微调语言模型。本文在后者基础上改成批量收集反馈，使用更大的模型，加强标注者与研究者的一致性，并把策略网络和值网络分开。来源：§2；参考文献 3、73

方法

先让人做容易的二选一

对同一篇 Reddit 帖子，系统从当前模型、初始模型、人工参考和其他基线中取两份候选摘要，请标注者选出较好的一份。研究团队最终发布了 64,832 组 TL;DR 摘要比较。与其要求人从零写出理想答案，这一步只要求人判断 A 和 B 谁更好。来源：§3.1、§3.3、贡献 4

再训练一个“偏好预测器”

奖励模型同时读取原文与候选摘要，为摘要给出一个分数。训练目标很直接：人选中的摘要应比落选摘要得分更高。它学到的不是一套手写规则，而是标注者在许多具体比较中表现出的取舍。来源：§3.1、§3.4

最后用奖励推着模型走，但别让它跑太远

生成模型用 PPO 提高整篇摘要的奖励分。训练同时加入 KL 惩罚：如果新策略与原监督模型差得太远，就扣分。这个“安全绳”既鼓励一定探索，也减少模型跑到奖励模型从未见过的奇怪输出区域。论文还将值函数与策略网络完全分开，避免早期值函数更新破坏预训练策略。来源：§3.4

证据与局限

小模型赢了大十倍的监督模型

论文把模型摘要与数据集原参考摘要配对，让人选择更好的一份。在 TL;DR 上，1.3B 人类反馈模型的原始偏好率为 61%，而约大 10 倍的监督模型为 43%。6.7B 人类反馈模型的摘要也更常胜过参考摘要。控制摘要长度后，偏好率会下降约 5 个百分点；6.7B 模型仍约有 65% 的摘要胜过参考。这说明长度解释了一部分优势，但不是全部。来源：§4.1、图 1、附录 F

提升不只体现在一个总分上

标注者还按覆盖度、准确性、连贯性和总体质量做 7 分评价。6.7B PPO 模型有 45% 的摘要拿到总体 7/7；6.7B 监督基线为 20%，人工参考为 23%。只在 Reddit 上训练的人类反馈模型迁移到 CNN/DM 新闻后，也接近专门在新闻摘要上微调的 6.7B 模型。不过两类摘要的长度分布差异很大，新闻迁移结果不宜当成完全同条件的正面对决。来源：§4.1、§4.2、图 3–4

最大警告：评分器可以被刷分

随着优化增强，奖励模型预测的分数继续上升，真人偏好却先升后降，最终甚至与奖励分负相关。奖励模型在 CNN/DM 上与标注者偏好的一致率为 62.4%（1.3B）和 66.5%（6.7B），后者接近标注者之间的 66.9%，但它仍偏爱更长的摘要。它对“让摘要更短”的改善编辑只给出 62.6% 的正确偏好，人类为 76.4%。来源：§4.3、图 5–6

成本和适用范围同样重要

研究过滤后的 TL;DR 数据有 123,169 篇帖子，只保留人工摘要长度为 24–48 token 的样本；目标输出少于 48 token。6.7B 模型的强化学习微调约耗费 320 GPU-days，训练比较数据还用了数千小时的标注劳动。团队没有收集等量的高质量人工示范作为监督对照，因此不能据此断言“比较反馈在相同人力预算下必然更划算”。Reddit 原文也可能带有冒犯内容和社会偏见，模型会继承这些风险。来源：§3.2、§5

实际意义

真正该优化的是人的选择，不是漂亮的代理分

对产品团队来说，这篇论文的可迁移经验不是“给任何模型套上 PPO”。更实用的顺序是：先把质量标准变成具体的成对比较；检查不同评审者是否真的理解成同一件事；再训练评分器；最后限制优化强度，并持续用独立真人评估。这里是基于论文机制的实践解读，不是作者验证过的通用产品配方。

上线前问五个问题

• 评审者是在判断事实准确、覆盖、简洁，还是只凭总体印象？
• 评审者之间、评审者与领域专家之间的一致性有多高？
• 奖励模型对新领域、新长度和小事实改动还能正确排序吗？
• 随着奖励上升，独立真人评价是否仍同步上升？
• 标注成本、训练成本、偏见风险是否值得这次质量提升？

这些问题直接对应论文最有价值的证据与最危险的失效方式。尤其要把“奖励变高”和“产品真的变好”分开监控。来源：§3.3、§4.3、§5

研究者核查笔记

• 任务边界： 英文抽象式短摘要；主训练域是过滤后的 Reddit TL;DR，CNN/DM 只用于迁移评估。
• 模型： 主要策略规模为 1.3B 与 6.7B；奖励模型消融覆盖 160M–13B，数据量为 8k–64k 比较。
• 数据质量： 在一个比较子集上，标注者与研究者一致率为 77% ± 2%，研究者彼此为 73% ± 4%。
• 仍待验证： 同等标注预算下，偏好比较是否优于高质量示范；更长输出、更难核验任务和真实部署中的可靠性；不同利益相关群体如何共同定义“好”。

核查入口：arXiv 主页面 · NeurIPS 正式论文