Detta dokument presenterar en ny UNIfied förskolad språkmodell (UNILM) som kan finjusteras för både naturligt språk förståelse och generation uppgifter. Modellen är förträngd med hjälp av tre typer av språkmodellering mål: enkelriktad (både vänster-till-höger och höger-till-vänster), dubbelriktad, och sekvens-till-sekvens förutsägelse. Den enhetliga modellering uppnås genom att använda ett gemensamt Transformer-nätverk och använda specifika själv-attention masker för att kontrollera vilket sammanhang de förutsägelser villkor på. Vi kan finjustera UNILM som en enkelriktad dekoder, en dubbelriktad kodare, eller en sekvens-till-sekvens modell för att stödja olika nedströms naturligt språk förståelse och generation uppgifter. 1 jämför positivt med BERT på GLUE-riktmärket, och SQuAD 2.0 och CoQA-frågor svarsuppgifter. Dessutom uppnår vår modell nya state-of-theart resultat på tre naturliga språk generation uppgifter, inklusive att förbättra CNN/DailyMail abstrakta sammanfattning ROUGE-L till 40.63 (2.16 absolut förbättring), driva CoQA generative fråga svarar F1 poäng till 82.5 (37.1 absolut förbättring), och SQuAD frågegeneration BLEU-4 till 22.88 (6.50 absolut förbättring).
UniLM REF och BART studerar kontinuerligt en enhetlig förutbildningsmodell för både förståelse och generationsuppgifter.
Unified Language Model Pre-training for Natural Language Understanding and Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}