前言
前面看到谷歌发表的运用在机器翻译上的论文《Attention is all you need》，很是让人惊讶，这是一种全新的模型，与之前的经典的seq2seq模型改动较大，它完全摒弃了RNN或CNN神经网络，大大简化了模型的复杂度，而且效果还相当好。当然Attention模型可以单独使用，但这篇文章我们来看看Attention的机制及怎么与经典的seq2seq结合。
seq2seq
前面我们有详细的文章介绍了seq2seq的机制以及如何用TensorFlow来实现seq2seq。可到《深度学习的seq2seq模型》、《TensorFlow实现seq2seq》阅读。
seq2seq模型结构基本都大同小异，下面用一种常见结构进行说明，我们可以看到decoder将不同时刻的输入最后用一个状态C来表示,encoder部分的不同时刻的输出则为yt=g(yt−1,h′t,C)，且有h′t=f(h′t−1,yt−1,C)，可以看到，不同时刻的输入被编码成C，而不同时刻的输出与上一时刻的输出、当前时刻的隐含状态、编码状态C都相关，而当前时刻隐含状态由于上一时刻的隐含状态、上个时刻输出、编码C相关。
seq2seq缺点
seq2seq模型是处理序列问题的大杀器，由它实现的encoder-decoder模型让其在很多场景都发挥着强大的作用，得到了很不错的效果。但它也有自己的局限性，被认为最大限制了seq2seq能力的就在于编码和解码之间的唯一联系就是一个固定长度的语义向量C。
我们可以看到上面，encoder的不同时刻的输入都被编码成状态C，这个便是语义向量。从这个角度去看，它将整个序列的信息压缩到一个固定长度的向量中去了。对于短序列来说，这种做法可能问题不大，但如果是较长较复杂的队列，则该语义向量可能无法完全表示整个序列的信息。而且先输入的序列的信息会被后输入的序列信息稀释掉。输入序列越长，这个现象就越严重。如果我们得到一个有损的语义编码，那对后面的解码也很可能会产生影响。
另外seq2seq模型一般会使用RNN，而RNN因为与上一时刻状态相关，所以不能并行运算，效率低。但这是所有使用RNN的局限性，除非不使用它。
Attention模型
为了解决语义损失和信息稀释的问题，提出了Attention模型，Attention即注意力，它是模拟了人类的视觉注意机制而来，比如当观察某个画面时，注意力聚焦到其中某一部分，其余部分则变得模糊。
按照图，咱们往下详细看Attention模型怎么与seq2seq结合。对于decoder，输出为
yt=g(yt−1,h′t,C)
这里的C已经与前面说到的seq2seq的语义向量C不同了，已经不再是将所有输入进行编码，下面会说到C怎么计算。再看隐含状态，
h′t=f(h′t−1,yt−1,C)
C向量计算公式为，
Ct=∑Txj=1atjhj
我们可以将其中的a看成是各个时刻的输出的不同时刻的输入对应的权重，其实就可以使用softmax来计算，它的计算公式为，
atj=exp(etj)∑Txk=1exp(etk)
其中，
etj=w(h′t−1,hj)
通过上面几个公式就基本描述了seq2seq与Attention的结合，其中每个输出多了注意力向量参与，注意力的权重由上一时刻隐含状态与encoder的各个输入的隐含状态共同决定。
在seq2seq模型上加上Attention模型，克服了语义损失和信息稀释的问题，但是它也引入了额外的成本，对于m个输入，n个输出的结构中，Attention参数也达到了m*n的数量级。
- 蜜度索骥：以跨模态检索技术助力“企宣”向上生长
- AI成为双刃剑！凯捷调查：97%组织遭遇过GenAI漏洞攻击
- openEuler开源五年树立新里程碑，累计装机量突破1000万
- 创想 华彩新程！2024柯尼卡美能达媒体沟通会焕新增长之道
- 操作系统大会2024即将在京召开，见证openEuler发展新里程
- Gartner：AI引领欧洲IT支出激增，2025年将支出1.28万亿美元
- IDC：中国数字化转型支出五年复合增长率约为15.6% 高于全球整体增速
- 2028年中国数字化转型总体市场规模将超7300亿美元
- 诺基亚源代码疑遭黑客IntelBroker盗窃，公司确认已展开调查
- 携手SUSE，共驭变革之风：踏上共创数字未来之旅
- Gartner：预计2025年全球IT支出达到5.74万亿美元 同比增长9.3%
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
