在 2014 年，隨著深度學習的進一步發(fā)展，seq2seq 的訓練模式和翻譯模式已經(jīng)開始進入人們的視野。除此之外，在端到端的訓練方法中，除了需要海量的業(yè)務數(shù)據(jù)之外，在網(wǎng)絡結構中加入一些重要的模塊也是非常必要的。在此情形下，基于循環(huán)神經(jīng)網(wǎng)咯（Recurrent Neural Network）的注意力機制（Attention Mechanism）進入了人們的視野。除了之前提到的機器翻譯和自然語言處理領域之外，計算機視覺中的注意力機制也是十分有趣的，本文將會簡要介紹一下計算機視覺領域中的注意力方法。