I detta dokument föreslår vi en multi-hop uppmärksamhet för Transformer. Det förfinar uppmärksamheten på en utgång symbol genom att integrera den för varje huvud, och består av två humle. Den första Hop uppmärksamhet är den skalade dot-produkt uppmärksamhet som är samma uppmärksamhetsmekanism som används i den ursprungliga Transformer. Den andra humle uppmärksamhet är en kombination av multi-lager perceptron (MLP) uppmärksamhet och huvud grind, vilket effektivt ökar komplexiteten i modellen genom att lägga beroenden mellan huvuden. Vi visar att översättningsnoggrannheten hos den föreslagna multi-hop uppmärksamhet överträffar baslinje Transformer betydligt, +0.85 BLEU pekar för IWSLT-2017 German-to-Engelska uppgiften och +2.58 BLEU pekar för WMT-2017 German-to-Engelska uppgiften. Vi finner också att antalet parametrar som krävs för en multi-hop uppmärksamhet är mindre än för stapling en annan själv-attention lager och den föreslagna modellen konvergerar betydligt snabbare än den ursprungliga Transformer.
REF föreslog en multi-hop uppmärksamhet där den andra-hop fungerar som en huvud grind funktion för att normalisera uppmärksamhet sammanhang för varje huvud.
Attention over Heads: A Multi-Hop Attention for Neural Machine Translation
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}