神话🏛️希腊罗马历史⚔️三国🏰欧洲历史🌍世界文明思想与信仰🕊️宗教🦉哲学科技💡科技史🤖AI简史🌐 EN
AI简史THE MINDS
🧭

约书亚·本吉奥

本名Yoshua Bengio

加拿大计算机科学家,神经网络语言模型与注意力机制的早期奠基人

想到"机器能思考"的人 · 先驱者
神经网络语言模型注意力机制的早期探索蒙特利尔学习算法研究所(Mila)

是谁

约书亚·本吉奥(1964- )是加拿大计算机科学家,长期在蒙特利尔大学任教,是"深度学习三巨头"之一。他早在2000年代初便开始系统研究神经网络语言模型,其团队此后提出的"注意力机制"早期雏形,为机器翻译系统解决了此前长期存在的长句翻译质量下降问题,这一思路此后启发谷歌团队于2017年提出完全基于自注意力机制的Transformer架构,成为几乎所有现代大语言模型共同采用的底层地基。本吉奥在蒙特利尔大学建立起蒙特利尔学习算法研究所(Mila),此后发展为全球规模最大的深度学习学术研究机构之一,培养出包括伊恩·古德费洛在内的大量该领域核心研究者。与辛顿、乐昆等同代学者相比,本吉奥近年来将更多精力投入到人工智能安全与治理议题,是2023年"暂停大型人工智能实验六个月"公开信的主要发起人与签署者之一,长期呼吁建立国际性的人工智能安全监管框架。他于2018年与辛顿、乐昆共同获得图灵奖。

依据原典本吉奥等《神经概率语言模型》(2003)2023年"暂停大型人工智能实验"公开信

主要故事

从"记不住长句子"到"注意力就是你所需要的一切"

本吉奥团队最早研究神经网络语言模型时,发现循环神经网络在处理长句子翻译任务时,会随着句子变长而逐渐"遗忘"句子开头的关键信息,翻译质量随之下降。他们此后提出的注意力机制,让模型能够在生成每个词时动态"回顾"输入序列中所有位置的信息,而不必依赖逐步传递的隐藏状态,这一思路后来被谷歌团队进一步推向极致,提出完全抛弃循环结构、仅依靠自注意力机制的Transformer架构,其论文标题正是那句此后广为流传的"Attention Is All You Need"。

人物关系

今日回响

以下是现代作品对这个名字或故事的借用、改写,不代表原始内容——两者不一样,别混着记。

从技术奠基人到安全倡导者本吉奥近年来将大量精力投入人工智能安全与治理议题,这一从纯技术研究者向公共政策倡导者的转型路径,也反映出这一代深度学习奠基人物普遍的心态变化。

出场事件