Multi-head själv-attention är en viktig komponent i Transformer, en toppmodern arkitektur för neural maskinöversättning. I detta arbete utvärderar vi bidraget från individuella uppmärksamhetshuvuden i kodaren till modellens övergripande prestanda och analyserar de roller som de spelar. Vi tycker att de viktigaste och mest självsäkra huvudena spelar konsekventa och ofta språkligt tolkbara roller. När man beskär huvuden med hjälp av en metod baserad på stokastiska grindar och en differentierad avkoppling av L 0 straff, Vi observerar att specialiserade huvuden är sist att beskäras. Vår nya beskärningsmetod tar bort de allra flesta huvuden utan att allvarligt påverka prestanda. Till exempel, på den engelsk-ryska WMT dataset, beskärning 38 av 48 kodare huvuden resulterar i en droppe på bara 0,15 BLEU.
REF utvärderar enskilda uppmärksamhetshuvudens bidrag till modellens övergripande prestanda och analyserar de roller som de spelar i kodaren.
Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}