从"预测下一个词"到能写文章的模型
GPT系列模型最初的核心训练目标极为朴素——仅仅是预测一段文本中下一个最可能出现的词，但拉德福德与团队发现，当模型规模与训练数据量持续扩大后，这一看似简单的训练目标却能让模型涌现出撰写连贯文章、回答问题、甚至进行逻辑推理等此前需要专门设计才能实现的复杂能力，这一发现此后成为"扩展定律"这一理念最重要的早期实证支持之一。
✍️
亚历克·拉德福德
本名Alec Radford
美国机器学习研究者，GPT系列模型的主要作者
算法背后的数学 · 理论奠基人
GPT系列模型CLIP图文匹配模型Whisper语音识别系统
是谁
亚历克·拉德福德是美国机器学习研究者，2018年在OpenAI工作期间主导设计了GPT（生成式预训练变换器）系列模型的最初版本，采用Transformer架构中的解码器结构，通过在海量文本上进行自回归式的下一词预测训练，让模型逐步具备生成连贯、有逻辑文本的能力，这一系列模型此后历经GPT-2、GPT-3等多代迭代，最终发展为ChatGPT背后的核心技术基础。拉德福德此后还主导开发了CLIP模型，通过让神经网络同时学习图像与对应文本描述之间的匹配关系，为此后包括Stable Diffusion在内的多种文本生成图像模型提供了关键的图文语义对齐能力，以及Whisper语音识别系统，这一系统在多种语言与口音的语音识别准确率上均达到当时的领先水平，且以开源形式对外发布。
依据原典拉德福德等《通过生成式预训练提升语言理解能力》（2018）拉德福德等《CLIP》论文（2021）
主要故事
人物关系
今日回响
以下是现代作品对这个名字或故事的借用、改写，不代表原始内容——两者不一样，别混着记。
CLIP成为生成式图像模型的共同基础CLIP提供的图文语义对齐能力，此后被包括Stable Diffusion在内的多种文本生成图像模型广泛采用，成为这一领域一项影响深远的共同基础设施。