Nya studier har visat effektiviteten i generativ förträning för engelska naturligt språk förståelse. I detta arbete utvidgar vi denna strategi till flera språk och visar hur effektiv den flerspråkiga förutbildningen är. Vi föreslår två metoder för att lära sig flerspråkiga språkmodeller (XLM): en oövervakad som endast bygger på enspråkig data, och en övervakad som utnyttjar parallella data med ett nytt språköverskridande modellmål. Vi får toppmoderna resultat på tvärspråkig klassificering, oövervakad och övervakad maskinöversättning. När det gäller XNLI driver vår strategi på den senaste tekniken med en absolut vinst på 4,9 procents noggrannhet. På oövervakad maskinöversättning får vi 34,3 BLEU på WMT'16 tysk-engelska, vilket förbättrar den tidigare tekniken med mer än 9 BLEU. På övervakad maskinöversättning får vi en ny state of the art på 38,5 BLEU på WMT'16 rumänsk-engelska, överträffar den tidigare bästa metoden med mer än 4 BLEU. Vår kod och preparerade modeller kommer att göras allmänt tillgängliga.
Mer nyligen, REF nå nya state-of-the-art prestanda på oövervakade en-fr och en-de översättningsuppgifter.
Cross-lingual Language Model Pretraining
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}