注意力机制想要觉醒AI，总共分几步？

原标题：注意力机制想要觉醒AI，总共分几步？

一场疫情，让所有线下会议按下了暂停键，AI也不例外。

但一年一度的“顶会”却不能不开，于是在4月26日，ICLR 2020（国际表征学习大会）就采取虚拟会议的形式，让所有网友得以共襄盛举。

值得一提的是，本次ICLR 大会接受了2594篇论文中的687篇，吸引了来自近90个国家的5600多名参与者，比2019年的2700人翻了一倍还多。不过，受疫情影响，这次大会也没有评选最佳论文。

既然如此，有没有出现什么新鲜事物，值得我们思索和探究的呢？

那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任Yoshua Bengio，在其特邀报告中着重强调的“AI觉醒”。

此前我们科普过，通用人工智能有多么遥远。怎么短短几年功夫，人工智能就要觉醒了？这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。

将意识注入机器：注意力机制再添重任

脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中，近两年来都会引入注意力模型。

这么受业界欢迎，它的特点自然很突出：

一是可以让神经网络学会只关注特定的部分，大幅度提升任务的效果与效率，在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效。2015年Bahdanau 等人提出注意力机制之后，就被ICLR 录用，如今它的各种变式已经成为机器翻译算法的“标配”。

二是降低机器学习的成本，同时增加可解释性。大家都知道深度学习神经网络的模型训练，往往依靠大规模的数据集，不仅数据获取成本很高，训练的算力、时间也不菲，而注意力机制的“选择性”，能够直接为训练提质增效，并且还能为序列数据建立了权值和映射，从而让输入和输出能够联系起来，避免了算法的“黑箱性”。

既然注意力机制并不是什么新鲜事物，为什么Bengio特意在其报告《与意识相关的深度学习先验》中，将注意力机制奉为圭臬，甚至成了AI的希望？

简单来说，Bengio认为注意力机制能够帮助机器学习模型获得“有意识”的推理。

此前，诸多算法创新（如自监督学习、元学习、多任务学习、迁移学习等）都是在帮助机器学习获得“无意识”，也就是与人类直觉、习惯、先验经验等类似的能力。

有了这种能力，AI可以很快地执行一些直觉型的任务，让人感到非常智能。比如当AI被训练学会了一些隐性知识以后，能够将这些知识内化，在遇到新事物时不需要重新训练，就能够很快适应。举个例子，当AI记住路况之后，它能够自如地跟乘客聊天，同时也不耽误自己随时响应交通状况、安全驾驶。这是不是已经超越许多人类驾驶员了呢？

但如果是在一个全新的道路上开车，如果有人在耳边吵闹，就会打断人类司机的思路，使对方无法集中精力处理。这时候就要用到前面提到的“有意识的”系统，来将一些新的概念，在新的情况下与不熟悉的东西联系起来。

就像《西部世界》的科学顾问、神经学家大卫·伊格尔曼（David Eagleman）所说，意识，是一种突破程序设定的连接。

当机器可以超越设定开始自行推理和思考，适应甚至推断出外界变化发生的原因，这不就是Deloris（《西部世界》女主角）们觉醒的时刻吗？

从这个角度讲，“有意识”的推理能力，正是深度学习变强大所需要的。

从超越人到模仿人，AI的回归之路

既然“操纵”意识这么带感，学者们又是如何为之努力的？过去数年间，注意力机制已经发生了不小的发展和进步。

从时间上看，注意力机制的能力开始为AI所用，要追溯到2014年谷歌团队在一个RNN卷积神经网络模型上用它来进行图像分类。但真正爆发，主要还是由于其在NLP机器翻译任务中证明了自己。

2017年，谷歌机器翻译团队发表的《Attention is all you need》中，提出了一种新颖的基于注意力的机器翻译架构，大量使用自注意力（self-attention）机制来学习文本表征，成为当年最具影响力的论文之一。

随后，它开始被广泛应用在基于RNN/CNN等神经网络模型的NLP任务中，也延伸出了不少变式，比如基于输入项的柔性注意力（Item-wise Soft Attention）、基于输入项的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）等等，核心指导思想都差不多，就是在神经网络的隐藏层，增加注意力机制的加权。

但需要注意的是，注意力机制依然存在不少问题：

比如，注意力机制与其说是一种技术，不如说是一种指导思想。通过模拟人类阅读、听说中的注意力行为，来为不同输入数据分配不同的权重。想要去的比较理想的效果，依然需要大量的数据投入训练。

可以说，注意力机制在神经机器翻译（NMT）任务上的优秀表现，依然建立在有大量高质量语料的前提下。一旦面对比较极端的情况，比如某些语言几乎没有任何双语语料，那再强的注意力机制也得抓瞎。

再比如，注意力机制达到“有意识”推理的前提，是具备理解隐性知识的能力，也就是那些难以用语言、文字、图表进行表述说明，不经过逻辑推理、而是借由感官、直觉、领悟获得的能力。

这对人类来说是“小菜一碟”，但想要将其嵌入到深度学习算法里面，却并不是一件简单的事。DeepMind就曾开发出一个交互式网络，试图教会智能体像婴儿一样迅速了解到某些对象的属性和关系。交互式网络的预测结果要比一般神经网络精确得多，但距离模拟人类直觉迅速反馈，还为时尚早。而且，机器必须犯上成千上万次的错误，才能做出和人类一样的正确操作。

换句话说，Bengio眼中的“注意力机制”，其实是升级版的“注意力3.0”，距离“机器觉醒”还早着呢。

机器觉醒，光靠Attention单打独斗还不行

上述问题不仅阻拦了注意力机制的“封神之路”，也是阻挡人工智能发挥更高价值的障碍。

接下来向何处去，或许正如注意力机制被引入RNN一样，继续主动引入其他领域的算法和模型，会带来不可知的神奇效果。

而从ICLR 2020的技术趋势来看，也有不少算法开始被用来，与注意力机制一起解决诸如直觉、泛化等机器能力的重要问题。

比如元学习。在今年的入选论文中，谷歌有5篇是专门研究元学习。

简单来说，元学习就是要让智能体利用以往的知识经验“学会如何学习”（Learning to learn），然后更高效地完成新任务。

具备这种能力，自然也就能够解决训练数据不足、系统通用性低等问题，帮助AI不断丰富和修正自身的知识网络。具备了这一能力，获得了人类常识的AI才有希望到达“有意识”的推理。

最后，也有必要大开脑洞，试想一下如果“有意识”的推理实现，AI真的觉醒了，又会为人类带来什么呢？

猜想一，AI的服务能力会显而易见的提升，在实践中不断学习处理复杂的工作将不再是难事，想象中的智能家政机器人、智能女友/男友，都不再是问题。

猜想二，AI可以像人类一样推理，同时拥有了情感，那么自然可以缔结自己的社会关系，届时为什么整个社会还需要如我这样的普通人，咱也不知道。

幸好，今天无论是注意力机制，还是人工智能本身，想要复刻人类的脑力还需要更长的时间，以及更多的耐心。更值得欣慰的是，在疫情“黑天鹅”的席卷之下，AI依然带领全球产业者连接、思考、探寻未来的藏宝图，这或许就是技术最令人沉迷之处。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。