让模型"听懂人话"的关键一步
GPT-3等早期大语言模型虽然已经具备生成连贯文本的能力，但常常出现答非所问、生成有害或不实内容等问题。舒尔曼主导的RLHF训练方法，让人类评估者对模型给出的多个候选回答进行质量排序，再用这一排序数据训练模型学会更符合人类偏好的回答方式，这一相对朴素却极为有效的方法，被广泛认为是ChatGPT相较此前版本模型在"听懂人话、给出有用回答"这一体验上实现质变的关键技术基础。
🎛️
约翰·舒尔曼
本名John Schulman
美国计算机科学家，OpenAI联合创始人
算法背后的数学 · 理论奠基人
近端策略优化算法（PPO）基于人类反馈的强化学习（RLHF）ChatGPT的对齐训练方法
是谁
约翰·舒尔曼是美国计算机科学家，2015年作为联合创始人之一参与创立OpenAI，提出"近端策略优化"（PPO）这一强化学习算法，因其训练过程相对稳定、实现相对简单，此后被广泛应用于包括机器人控制在内的多种强化学习任务。舒尔曼此后主导将强化学习方法与人类反馈相结合，发展出"基于人类反馈的强化学习"（RLHF）这一训练范式，让大语言模型能够依据人类评估者对模型输出质量的偏好排序进行微调，这一方法是ChatGPT相较此前版本的GPT模型在遵循指令、减少有害内容输出等方面大幅改善的关键技术基础之一。2024年，舒尔曼离开OpenAI加入Anthropic，此后又转向创立自己的研究方向。
依据原典舒尔曼等《近端策略优化算法》（2017）OpenAI官方RLHF相关技术博文
主要故事
人物关系
盟友
今日回响
以下是现代作品对这个名字或故事的借用、改写，不代表原始内容——两者不一样，别混着记。
RLHF成为大语言模型的标配训练环节舒尔曼主导发展的RLHF方法，此后成为几乎所有主流对话式大语言模型训练流程中不可或缺的标配环节。