Språkmodell (LM) förutbildning har resulterat i imponerande prestanda och urval effektivitet på en mängd olika språkförståelse uppgifter. Det är dock fortfarande oklart hur man bäst kan använda förtränade LMs för generering uppgifter såsom abstrakt sammanfattning, särskilt för att öka proveffektivitet. I dessa sekvens-till-sekvens inställningar, tidigare arbete har experimenterat med att ladda förtränade vikter i kodare och / eller dekoder nätverk, men använt icke-förtränade kodare-avkodare uppmärksamhet vikter. Vi använder istället ett pre-utbildad dekoder-endast nätverk, där samma Transformer LM både kodar källan och genererar sammanfattningen. Detta säkerställer att alla parametrar i nätverket, inklusive de som styr uppmärksamheten över källstater, har förskolats före finjusteringssteget. Experiment på datauppsättningen CNN/Daily Mail visar att vår förtränade Transformer LM avsevärt förbättrar över förtränade Transformer encoder-dekodernätverk i begränsade datainställningar. Till exempel uppnår den 13,1 ROUGE-2 med endast 1% av träningsdata (3000 exempel), medan förtränade enkoder-dekoder modeller poäng 2,3 ROUGE-2.
För att lösa problemet att encoder-dekoder uppmärksamheten inte är förträngd, REF förträngde en enda transformator språkmodell som kodar källan och genererar målet.
Sample Efficient Text Summarization Using a Single Pre-Trained Transformer
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}