Multi-head uppmärksamhet är tilltalande för förmågan att gemensamt delta i information från olika representation subspaces på olika positioner. I detta arbete inför vi en legalisering av oenigheten för att uttryckligen uppmuntra mångfalden mellan olika uppmärksamhetshuvuden. Specifikt föreslår vi tre typer av regularisering av meningsskiljaktigheter, som uppmuntrar subrymden, de deltagande positionerna och den utdatarepresentation som är förknippad med varje uppmärksamhetshuvud att skilja sig från andra huvuden. Experimentella resultat på allmänt använda WMT14 Engelska och WMT17 Översättningsuppgifter på engelska visar effektiviteten och universaliteten i det föreslagna tillvägagångssättet.
REF hade visat att använda en oenighet legalisering för att uppmuntra olika uppmärksamhet huvuden att ha olika beteenden kan förbättra prestandan av multi-head uppmärksamhet.
Multi-Head Attention with Disagreement Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}