Uppmärksamhetsmekanismer används i stor utsträckning i nuvarande ramar för kodare/avkodare av bildtext, där ett vägt genomsnitt på kodade vektorer genereras vid varje tidpunkt steg för att vägleda bildtextavkodningsprocessen. Dekodern har dock föga aning om huruvida eller hur väl den besökta vektorn och den givna uppmärksamhetsfrågan är relaterade, vilket skulle kunna få dekodern att ge vilseledda resultat. I detta dokument föreslår vi en modul "Attention on Attention" (AoA) som utvidgar de konventionella uppmärksamhetsmekanismerna för att avgöra relevansen mellan uppmärksamhetsresultat och frågor. AoA genererar först en "informationsvektor" och en "attention gate" med hjälp av uppmärksamheten resultat och det nuvarande sammanhanget, sedan lägger ytterligare uppmärksamhet genom att tillämpa elementvis multiplikation på dem och slutligen få den "besökta informationen", den förväntade användbara kunskapen. Vi tillämpar AoA på både kodaren och avkodningen av vår bildtextmodell, som vi namnger som AoA Network (AoANet). Experiment visar att AoANet överträffar alla tidigare publicerade metoder och uppnår en ny toppmodern prestanda på 129,8 CIDER-D poäng på MS COCO "Karpati" offline test split och 129,6 CIDER-D (C40) poäng på den officiella online testserver. Koden finns på https://github.com/husthuaan/AoANet.
Senare, den senast föreslagna uppmärksamheten på uppmärksamhetsmodulen REF
Attention on Attention for Image Captioning
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}