一篇论文，成了ChatGPT"听话"的理论起点
克里斯蒂亚诺2017年提出的"基于人类偏好训练模型"方法，最初的实验场景相对简单，仅涉及一些基础的模拟控制任务，但这一"让人类对模型输出进行偏好排序、再据此调整模型行为"的核心思路，此后被约翰·舒尔曼等研究者进一步发展、扩展应用到大语言模型的对齐训练中，成为ChatGPT相较此前版本模型能够更好地"听懂人话"背后关键的理论源头之一。
🧵
保罗·克里斯蒂亚诺
本名Paul Christiano
美国计算机科学家，AI对齐研究先驱
被记住的名字 · 戏份不多但很出名
基于人类偏好的强化学习方法的早期研究对齐研究中心（ARC）AI对齐理论
是谁
保罗·克里斯蒂亚诺是美国计算机科学家，曾任职于OpenAI，2017年与团队合著论文，提出通过让人类评估者对模型生成的多个候选输出进行偏好排序、再据此训练模型的方法，这一早期研究此后被进一步发展为广泛应用于ChatGPT等产品的RLHF训练范式的重要理论基础之一。克里斯蒂亚诺此后创立对齐研究中心（ARC），持续专注于研究应当如何设计出行为目标与人类真实意图保持一致的人工智能系统这一课题，他本人也是人工智能安全研究领域较早系统性思考"如何评估前沿模型潜在危险能力"这一实践方法论的研究者之一。
依据原典克里斯蒂亚诺等《基于人类偏好的深度强化学习》（2017）
主要故事
人物关系
徒弟
盟友
今日回响
以下是现代作品对这个名字或故事的借用、改写，不代表原始内容——两者不一样，别混着记。
RLHF方法的理论源头这篇最初仅涉及简单模拟控制任务的论文，此后被证明是ChatGPT等对话式大语言模型能够"听懂人话"背后最重要的理论源头之一。