这是一篇关于Attention的综述
注意力机制是神经网络中的一个重要概念，当前研究人员已经在各种应用领域中对其进行了研究。本文将全面介绍注意力机制模型的结构以及当前的发展状况；并依据逻辑范畴对注意力机制模型进行了分类。
注意力模型/Attention Model（AM）首先是在机器翻译中引入的，但是当前已经成为神经网络结中的一个重要概念。 作为在自然语言处理、统计学习、语音和计算机视觉中大量应用的神经体系结构的重要组成部分，注意力机制在人工智能（AI）社区中已变得极为流行。注意力原理可以使用人类生物系统进行解释。例如，我们的视觉处理系统倾向于有选择地将注意力集中在图像的某些部分，而忽略其它不相关的信息，从而有助于感知。同样，在涉及语言，言语或视觉的几个问题中，输入的某些部分与其他部分相比可能更相关。例如，在翻译和摘要任务中，只有输入序列中的某些单词可能与预测下一个单词相关。同样，在图像字幕问题中，输入图像的某些区域可能与在字幕中生成下一个单词更相关。 AM通过允许模型动态地关注输入中有助于有效执行手头任务的某些部分，从而融入了关联的概念。
注意力机制在神经网络建模中迅速发展的原因主要有三个。第一，现在这些模型已经成为机器翻译、问答、情感分析、词性标注、选区解析和对话系统等多项任务的最新技术。第二，除了在主要任务上提高性能之外，它们还提供了其它一些优势。它们被广泛用于提高神经网络的可解释性（神经网络又被认为是黑箱模型），主要是因为人们对影响人类生活的应用程序中机器学习模型的公平性、问责制和透明度越来越感兴趣。第三，它们有助于克服递归神经网络（RNN）存在的一些问题，例如随着输入长度增加导致性能下降，以及输入的顺序处理导致计算效率降低。
序列到序列的模型结构主要由编码器和解码器组成。
为解决以上两个问题，AM允许解码器访问整个编码的输入序列 。其核心思想是在输入序列上引入注意权重α，以对存在相关信息位置集进行优先排序，从而生成下一个输出令牌 。
本文将Attention Model共计分为四类： 基于多输入输出序列的分类、基于抽象层的分类、基于计算位置分类、基于多表示分类 。
到目前为止，我们只考虑了涉及单个输入和相应输出序列的情况。当候选状态和查询状态分别属于两个不同的输入和输出序列时，这就需要使用一种不同的注意力模型。这种注意力模型大多数用于翻译、摘要、图像字幕和语音识别等。
一个共同注意模型同时处理多个输入序列，共同学习它们的注意权重，以捕捉这些输入之间的相互作用。例如采用共同注意模型进行视觉问答，除了在输入图像上建立视觉注意模型外，建立问题注意模型也很重要，因为问题文本中的所有单词对问题的答案并不同等重要。此外，基于注意的图像表示用于引导问题注意，反之亦然，这本质上有助于同时检测问题中的关键短语和答案相关的图像的相应区域。对于文本分类和推荐等任务，输入是一个序列，而输出不是一个序列。在这个场景中，注意可以用于学习相同输入序列中每个令牌的输入序列中的相关令牌。换句话说，对于这类注意，查询和候选状态属于同一序列。
参考文献 ：
[1]Jiasen Lu, Jianwei Yang, Dhruv Batra, and Devi Parikh. Hierarchical question-image co-attention for visual question answering. In NIPS, pages 289–297, 2016
[2] Zichao Yang, Diyi Yang, Chris Dyer, Xiaodong He, Alexander J. Smola, and Eduard H. Hovy. Hierarchical attention networks for document classification. In HLT-NAACL, 2016.
在最一般的情况下，注意力权重只针对原始输入序列计算。这种类型的注意可以称为单水平。另一方面，注意力可以按顺序应用于输入序列的多个抽象层次。较低抽象级别的输出（上下文向量）成为较高抽象级别的查询状态。此外，基于权值是自上而下学习还是自下而上学习的，可以对使用多层次注意的模型做进一步的分类。我们举例说明了这一类别中的一个关键示例，该示例在两个不同的抽象层次（即单词级和句子级）使用注意模型进行文档分类任务。这个模型被称为“层次注意模型”（HAM），因为它捕捉了文档的自然层次结构，即文档由句子组成，句子由单词组成。多层次注意允许HAM提取句子中重要的单词和文档中重要的句子，如下所示。首先建立了一种基于注意的句子表示方法，并将一级注意应用于嵌入向量序列，然后它使用第二级注意来聚合这些句子表示形式，以形成文档的表示形式，这个文档的最终表示用作分类的特征向量任务。
参考文献 ：
[1]Shenjian Zhao and Zhihua Zhang. Attention-via-attention neural machine translation. In AAAI, 2018
在第三类中，差异来自于输入序列计算注意力权值的位置。Bahdanau等人引入的注意，也被称为软关注。顾名思义，它使用输入序列所有隐藏状态的加权平均值来构建上下文向量。软权值方法的使用使得神经网络能够通过反向传播进行有效的学习，但也会导致二次计算代价。Xu等人提出了一个硬注意模型，其中上下文向量是根据输入序列中随机采样的隐藏状态计算的。这是通过注意权重参数化的多努利分布来实现的。硬注意模型有利于降低计算成本，但在输入的每个位置进行硬决策，使得得到的框架不可微，难以优化。因此，为了克服这一局限性，文献中提出了变分学习方法和策略梯度方法。
参考文献 ：
[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473, 2014.
[2] Kelvin Xu, Jimmy Ba, Ryan Kiros, Kyunghyun Cho, Aaron Courville, Ruslan Salakhudinov, Rich Zemel, and Yoshua Bengio. Show, attend and tell: Neural image caption generation with visual attention. In ICML, pages 2048–2057, 2015.
[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective approaches to attention-based neural machine translation. In EMNLP, pages 1412–1421, Lisbon, Portugal, September 2015. ACL.
通常，在大多数应用中使用输入序列的单一特征表示。但是，在某些情况下，使用输入的一个特征表示可能不足以完成下游任务。在这种情况下，一种方法是通过多个特征表示捕获输入的不同方面。注意可以用来给这些不同的表示分配重要性权重，这些表示可以确定最相关的方面，而忽略输入中的噪声和冗余。我们将此模型称为多表示AM，因为它可以确定下游应用程序输入的多个表示的相关性。最终表示是这些多重表示及其注意力的加权组合重量。注意的好处是通过检查权重，直接评估哪些嵌入是特定下游任务的首选。
参考文献 ：
[1]Douwe Kiela, Changhan Wang, and Kyunghyun Cho. Dynamic meta-embeddings for improved sentence representations. In EMNLP, pages 1466–1477, 2018.
[2]Suraj Maharjan, Manuel Montes, Fabio A Gonzalez, and Thamar ´ Solorio. A genre-aware attention model to improve the likability prediction of books. In EMNLP, pages 3381–3391, 2018.
[3]Zhouhan Lin, Minwei Feng, Cicero Nogueira dos Santos, Mo Yu, Bing Xiang, Bowen Zhou, and Yoshua Bengio. A structured selfattentive sentence embedding. arXiv preprint arXiv:1703.03130, 2017.
[4]Tao Shen, Tianyi Zhou, Guodong Long, Jing Jiang, Shirui Pan, and Chengqi Zhang. Disan: Directional self-attention network for rnn/cnn-free language understanding. In AAAI, 2018
更多自然语言处理相关知识，还请关注 AINLPer公众号 ，极品干货即刻送达。
绛旓細Nowadays, every student pays enough attention to study habit because of its importance. As for me, I have three ways to improve my study habits.鐜板湪锛屾瘡涓鐢熼兘寰堟敞鎰忓涔犱範鎯紝鍥犱负瀹冨緢閲嶈銆傚鎴戣岃█锛屾垜鏈変笁绉嶆柟娉曟潵鏀瑰杽鎴戠殑瀛︿範涔犳儻銆侳irstly, make a plan for my study. The plan, ...
绛旓細鏂伴椈濯掍綋瓒婃潵瓒婂彈娆㈣繋锛岃繖浣垮緱瀹冪幇鍦ㄥ叿鏈夌湡姝ｅ己澶х殑鍔涢噺锛屽苟涓斿緢瀹规槗琚埄鐢ㄦ潵閫犳垚璐熼潰褰卞搷銆俆his is because many news media companies tend to broadcast sensational news in order to attract audience's attention and therefore get a high viewing ratings.杩欐槸鍥犱负璁稿鏂伴椈濯掍綋鍏徃鍊惧悜浜庢挱鏀捐镐汉鍚椈...
绛旓細Due attention should be given to Spelling.As a basic skill in English studying, correctspelling plays a great important role incommunication. However, nowadays, more andmorestudents tend to pay less and lessattention toit stead of focusing on only speaking.Based on related surveys, the...
绛旓細鈥渢o draw attention to the pollution in our cities.鈥濊繖鍙ヨ瘽涓殑涓嶅畾寮忎綔鍚屼綅璇傚濂借嫳璇殑鏂规硶 1銆佽鎯冲濂借嫳璇鍏堝氨瑕佺厖鐐煎ソ鑷繁鐨勫惉鍔涖傜幆澧 寰堥噸瑕侊紝鍦ㄥ钩鏃堕夋嫨澶氬惉锛屽鐪嬶紝姣斿澶氱湅浜涜嫳璇數褰憋紝澶氬惉浜涜嫳璇惉鍔涳紝鎻愰珮鍚姏銆2銆佸叾娆℃槸瑕佸煿鍏昏嚜宸辩殑璇劅銆傝繖灏辫姹傛垜浠钩鏃剁粨鍚堝湪鍚殑鍩虹涓婏紝瑕...
绛旓細4.杩欏彞: Your encouragement is the best support for me .鏀规垚锛歒our encouragement will give me great motive power.5.from now on绗旇鍚 6.杩欏彞: I will write my articles in here.鏀规垚锛欼 will write my articles here.7.杩欏彞: Please attention them in time.鏀规垚锛歅lease pay ...
绛旓細+doing or 鍚嶈瘝 The business of drawing public attention to goods and services.鍚稿紩浜烘敞鎰忓晢鍝佸拰鏈嶅姟鐨勫晢涓氥俁eaders are perhaps aware of our initiative in drawing public attention to the matter of banking consumer protection.璇昏呬篃璁搁兘鐭ラ亾閲戠灞閫氳繃涓嶅悓娓犻亾,寮曡捣鍏紬鍏虫敞淇濋殰閾惰涓氭秷璐硅呯殑...
绛旓細On the Importance of Details There is an saying, details determine your fate, which emphasises the inportance of details. Surely, whether a man will be successful depends largely on his attention to the details in his life.Keeping an eye on details may help you in many ways. ...
绛旓細You have to travel alone?浣犳湁鐙嚜鏃呰杩囧悧锛烡o you know the things needed to pay attention to travel alone?浣犵煡閬撶嫭鑷梾琛岄渶瑕佹敞鎰忕殑浜嬫儏鍚楋紵First of all,safety is the most important.棣栧厛锛屽畨鍏ㄦ槸鏈閲嶈鐨勩俉e must pay attention to protect their.鎴戜滑涓瀹氳娉ㄦ剰淇濇姢濂借嚜宸便係econdly,we ...
绛旓細___
绛旓細His father smiles and says, 鈥淢y son, pay attention~鈥濅粬鐨勭埗浜插井寰竴绗戯紝璇达細鈥滃効瀛愶紝鐪嬫垜鐨剘鈥滱gain the man screams, 鈥淵ou are a champion!鈥濇帴鐫锛屼粬鐨勭埗浜插皷鍙亾锛氣滀綘鏄啝鍐!鈥漈he voice answers, 鈥淵ou are a champion!鈥濋偅涓０闊冲洖绛旇锛氣滀綘鏄啝鍐!鈥漈he boy is surprised, but...
