Uppmärksamhet är en kraftfull och allestädes närvarande mekanism för att tillåta neurala modeller att fokusera på särskilda framträdande bitar av information genom att ta deras viktade genomsnitt när man gör förutsägelser. I synnerhet är mångfacetterad uppmärksamhet en drivkraft bakom många av de senaste toppmoderna modellerna för bearbetning av naturligt språk (NLP) såsom Transformer-baserade MT-modeller och BERT. Dessa modeller tillämpar flera uppmärksamhetsmekanismer parallellt, med varje uppmärksamhet "huvud" potentiellt fokusera på olika delar av indata, vilket gör det möjligt att uttrycka sofistikerade funktioner utöver det enkla viktade genomsnittet. I detta dokument gör vi den överraskande iakttagelsen att även om modeller har utbildats med hjälp av flera huvuden, i praktiken, kan en stor del av uppmärksamhetshuvuden tas bort vid provtillfället utan att avsevärt påverka prestandan. I själva verket kan vissa lager till och med reduceras till ett enda huvud. Vi undersöker vidare giriga algoritmer för att beskära ned modeller, och den potentiella hastighet, minneseffektivitet, och noggrannhet förbättringar som kan uppnås därav. Slutligen analyserar vi resultaten med avseende på vilka delar av modellen som är mer beroende av att ha flera huvuden, och ger prekursoriska bevis för att utbildning dynamik spelar en roll i de vinster som ges av multi-head uppmärksamhet 1.
Den senaste utvecklingen i viktbeskärning visar att det är möjligt att ta bort några huvuden i självuppmärksamhet vid testtid utan att avsevärt försämra prestanda REF.
Are Sixteen Heads Really Better than One?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}