Uppmärksamhetsmekanismer har sett bred adoption i neurala NLP-modeller. Förutom att förbättra prediktiva prestanda, är dessa ofta tippade som att ge insyn: modeller utrustade med uppmärksamhet ger en fördelning över deltagande-till inmatningsenheter, och detta presenteras ofta (åtminstone implicit) som kommunicerar den relativa betydelsen av indata. Det är dock oklart vilket samband som finns mellan uppmärksamhetsvikter och modellutgångar. I detta arbete utför vi omfattande experiment över en mängd olika NLP uppgifter som syftar till att bedöma i vilken grad uppmärksamhet vikter ger meningsfulla "beskrivningar" för förutsägelser. Vi finner att de till stor del inte gör det. Till exempel är inlärda uppmärksamhet vikter ofta okorrelerade med gradient-baserade mått av funktionsvikt, och man kan identifiera mycket olika uppmärksamhet fördelningar som ändå ger likvärdiga förutsägelser. Våra resultat visar att vanliga uppmärksamhetsmoduler inte ger meningsfulla förklaringar och inte bör behandlas som om de gör det. Kod för att reproducera alla experiment finns på https://github.com/successar/AdvotionExplanation.
I synnerhet visar REF att för en mängd olika NLP-uppgifter är de inlärda uppmärksamhetsvikterna ofta okorrelerade med funktionsbetydelse som produceras av gradientbaserade prognosatiseringsmetoder, och slumpmässig permutation av uppmärksamhetsvikter kan dock ge likvärdiga förutsägelser.
Attention is not Explanation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}