Toppmoderna oövervakade flerspråkiga modeller (t.ex. flerspråkig BERT) har visat sig generalisera i en noll-shot tvärspråkig inställning. Denna generalisering förmåga har tillskrivits användningen av en delad underord ordförråd och gemensam utbildning över flera språk som ger upphov till djupa flerspråkiga abstraktioner. Vi utvärderar denna hypotes genom att utforma ett alternativt tillvägagångssätt som överför en enspråkig modell till nya språk på lexisk nivå. Mer konkret tränar vi först en transformatorbaserad maskerad språkmodell på ett språk, och överför den till ett nytt språk genom att lära oss en ny inbäddningsmatris med samma maskerade språkmodellering objektiva frysparametrar för alla andra skikt. Detta tillvägagångssätt bygger inte på ett gemensamt ordförråd eller gemensam utbildning. Vi visar dock att det är konkurrenskraftigt med flerspråkig BERT om standardiserade gränsöverskridande klassificeringsriktmärken och om en ny tvärspråkig frågebesvarandeset (XQuAD). Våra resultat motsäger gemensamma uppfattningar om grunden för de flerspråkiga modellernas generaliseringsförmåga och tyder på att djupa enspråkiga modeller lär sig några abstraktioner som generaliserar över språk. Vi släpper också XQuAD som ett mer omfattande språkligt riktmärke, som omfattar 240 stycken och 1190 frågesvar par från SQuAD v1.1 översatta till tio språk av professionella översättare.
Nyligen experimenterade REF med gränsöverskridande överföringslärande och förberedde XQuAD-dataset med 240 stycken och 1.190 frågesvarspar från SQuAD v1.1 översatta till 10 språk.
On the Cross-lingual Transferability of Monolingual Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}