Hierarkiska uppmärksamhetsnätverk har nyligen uppnått anmärkningsvärda prestationer för dokumentklassificering på ett visst språk. När flerspråkiga dokumentsamlingar beaktas innebär dock utbildning av sådana modeller separat för varje språk linjär parametertillväxt och brist på överföring över språk. Att lära sig en enda flerspråkig modell med färre parametrar är därför ett utmanande men potentiellt fördelaktigt mål. I detta syfte föreslår vi flerspråkiga hierarkiska uppmärksamhetsnätverk för att lära sig dokumentstrukturer, med gemensamma kodare och/eller gemensamma uppmärksamhetsmekanismer över språk, med hjälp av lärande med flera uppgifter och ett anpassat semantiskt utrymme som ingång. Vi utvärderar de föreslagna modellerna för flerspråkig dokumentklassificering med separata etikettuppsättningar, på en stor datauppsättning som vi tillhandahåller, med 600k nyheter dokument på 8 språk, och 5k etiketter. De flerspråkiga modellerna överträffar enspråkiga modeller i lågresurs- och fullresursinställningar, och använder färre parametrar, vilket bekräftar deras beräkningseffektivitet och nyttan av tvärspråksöverföring.
REF införde flerspråkiga hierarkiska uppmärksamhetsnätverk för att lära sig hierarkiska dokumentstrukturer med delade komponenter över olika språk.
Multilingual Hierarchical Attention Networks for Document Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}