Det nyligen föreslagna massivt flerspråkiga neurala maskinöversättningssystemet (NMT) har visat sig kunna översätta över 100 språk till och från engelska inom en enda modell (Aharoni et al., 2019). Dess förbättrade översättningsprestanda på lågresursspråk tyder på att det finns en potential för överföring mellan språk för uppgifter i senare led. I detta dokument utvärderar vi den tvärspråkiga effektiviteten av representationer från kodaren av en massivt flerspråkig NMT-modell på 5 nedströms klassificering och sekvens märkning uppgifter som täcker en mängd över 50 språk. Vi jämför mot en stark baslinje, flerspråkig BERT (mBERT) (Devlin et al., 2018), i olika crosslingual transfer learning scenarion och visa vinster i noll-shot överföring i 4 av dessa 5 uppgifter.
REF ytterligare analysera de representationer som erhållits av kodaren av en massivt flerspråkig maskin översättningssystem och visa att det får liknande resultat som mBERT på tvärspråkiga NEI.
Evaluating the Cross-Lingual Effectiveness of Massively Multilingual Neural Machine Translation
{'venue': 'AAAI 2020', 'journal': None, 'mag_field_of_study': ['Computer Science']}