I detta dokument föreslår vi en ny pretraining-baserad kodare-dekoder ram, som kan generera utdatasekvensen baserat på indatasekvensen på ett tvåsteg sätt. För kodaren i vår modell kodar vi indatasekvensen i sammanhangsrepresentationer med hjälp av BERT. För dekodern finns det två steg i vår modell, i det första steget använder vi en Transformer-baserad dekoder för att generera ett utkast utdatasekvens. I det andra steget maskerar vi varje ord i utkastsekvensen och matar den till BERT, sedan genom att kombinera ingångssekvensen och utkastrepresentationen som genereras av BERT, använder vi en Transformer-baserad dekoder för att förutsäga det förfinade ordet för varje maskerad position. Såvitt vi vet är vårt tillvägagångssätt den första metoden som tillämpar BERT i textgenereringsuppgifter. Som ett första steg i denna riktning utvärderar vi vår föreslagna metod för summering av texten. Experimentella resultat visar att vår modell uppnår nya state-of-the-art på både CNN/Daily Mail och New York Times datauppsättningar. 2. Utgångspunkten är följande: Vi designar en tvåstegs dekoderprocess. I denna arkitektur kan vår modell generera varje ord i sammanfattningen med beaktande av båda sidors kontextinformation. 3. Vad är det som händer? Vi utför experiment på referensdatauppsättningarna CNN/Daily Mail och New York Times. Vår modell uppnår ett genomsnitt på 33,33 ROUGE-1, ROUGE-2 och ROUGE-L på CNN/Daily Mail, vilket är toppmodernt. På datasetet New York Times uppnår vår modell cirka 5,6 % relativ förbättring jämfört med ROUGE-1.
REF använde en kodare med BERT och en tvåstegs dekoder för textsammanfattning.
Pretraining-Based Natural Language Generation for Text Summarization
{'venue': "CoNLL'2019", 'journal': None, 'mag_field_of_study': ['Computer Science']}