从"记不住长句子"到"注意力就是你所需要的一切"
本吉奥团队最早研究神经网络语言模型时,发现循环神经网络在处理长句子翻译任务时,会随着句子变长而逐渐"遗忘"句子开头的关键信息,翻译质量随之下降。他们此后提出的注意力机制,让模型能够在生成每个词时动态"回顾"输入序列中所有位置的信息,而不必依赖逐步传递的隐藏状态,这一思路后来被谷歌团队进一步推向极致,提出完全抛弃循环结构、仅依靠自注意力机制的Transformer架构,其论文标题正是那句此后广为流传的"Attention Is All You Need"。