Multi-head uppmärksamhet är tilltalande för förmågan att gemensamt delta i information från olika representation subspaces på olika positioner. I detta arbete inför vi en legalisering av oenigheten för att uttryckligen uppmuntra mångfalden mellan olika uppmärksamhetshuvuden. Specifikt föreslår vi tre typer av regularisering av meningsskiljaktigheter, som uppmuntrar subrymden, de deltagande positionerna och den utdatarepresentation som är förknippad med varje uppmärksamhetshuvud att skilja sig från andra huvuden. Experimentella resultat på allmänt använda WMT14 Engelska och WMT17 Översättningsuppgifter på engelska visar effektiviteten och universaliteten i det föreslagna tillvägagångssättet.
REF uppmuntrar olika uppmärksamhetshuvuden att lära sig om olika information som position och representation genom att införa en reglering av oenighet.
Multi-Head Attention with Disagreement Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}