I denna artikel visar vi att Flerspråkig BERT (M-BERT), utgiven av Devlin et al. (2019) Som en enda språkmodell som är förträngd från enspråkig korpora på 104 språk, är förvånansvärt bra på noll-shot tvärspråkig modellöverföring, där uppgiftsspecifika kommentarer på ett språk används för att finjustera modellen för utvärdering på ett annat språk. För att förstå varför, Vi presenterar ett stort antal undersökningsförsök, visar att överföring är möjligt även till språk i olika skript, att överföring fungerar bäst mellan typologiskt liknande språk, att enspråkig corpora kan träna modeller för kodväxling, och att modellen kan hitta översättning par. Av dessa resultat kan vi dra slutsatsen att M-BERT skapar flerspråkiga representationer, men att dessa representationer uppvisar systematiska brister som påverkar vissa språkpar.
REF presenterar ett stort antal undersökningsförsök och visar att flerspråkiga BERTs robusta förmåga att generalisera språkligt stöds av en flerspråkig representation.
How multilingual is Multilingual BERT?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}