Vi presenterar en metod för att producera abstrakta sammanfattningar av långa dokument som överstiger flera tusen ord via neural abstraktion. Vi utför ett enkelt utdragssteg innan vi skapar en sammanfattning, som sedan används för att konditionera transformatorns språkmodell på relevant information innan vi får i uppdrag att generera en sammanfattning. Vi visar att detta utvinningssteg avsevärt förbättrar summeringsresultaten. Vi visar också att detta tillvägagångssätt ger mer abstrakta sammanfattningar jämfört med tidigare arbete som använder en kopieringsmekanism samtidigt som högre rougepoäng uppnås. Obs: Abstractet ovan skrevs inte av författarna, det genererades av en av de modeller som presenteras i denna uppsats. Språkmodeller (LMs) tränas för att uppskatta den gemensamma sannolikheten för en godtycklig sekvens av ord eller tecken med hjälp av en stor textkorpus. De typiskt faktorisera den gemensamma fördelningen av tokens p(x 1, x 2..... x n ) till en produkt av villkorliga sannolikheter n i p (x i  på x <i ). Det är möjligt att använda ngrambaserade modeller för att uppskatta dessa villkorliga sannolikheter via räkningar, beroende på markovianska antaganden. Markoviska antaganden och dimensionalitetens förbannelse gör det dock svårare för n-gram LMs att modellera beroenden på lång räckvidd och lära sig smidiga funktioner som kan lära sig likheter mellan ord i ordförrådet. Detta har lett till en preferens för återkommande eller feed-forward neural språk modeller (Bengio et al. 2003; Mikolov m.fl. 2010 ) under de senaste åren på grund av deras förmåga att lära sig expressiva villkorliga sannolikhetsfördelningar (Radford et al. [2019]........................................................................................... Sekvens-till-sekvens (seq2seq) paradigm (Sutskever, Vinyals, och Le 2014) använder språkmodeller som lär sig den villkorliga sannolikheten för en sekvens ges en annan. Här fungerar en språkmodell som en "dekoder" som typiskt är beroende av en representation av en ingångssekvens som produceras av en kodare neurala nätverk.  Vi visar att Transformer språkmodeller är extremt lovande på att sammanfatta långa texter, och ger en ny strategi för djup summering som kan användas för att generera mer "abstraktiva" sammanfattningar. Vi visar att vårt tillvägagångssätt producerar mer abstrakta sammanfattningar än toppmoderna metoder utan kopieringsmekanism. Vi tillhandahåller en applikation för textsammanfattning av ArXiv- och PubMed-datauppsättningarna, och visar att vår modell överträffar andra populära summeringsmetoder. Vi diskuterar också en enkel neural utvinningsmodell baserad på pekare nätverk utbildade på dokument och deras framträdande meningar. Vi visar att denna modell kan användas för att öka Transformer språkmodeller för att generera bättre summering resultat. Anm.: Ovanstående abstract genererades av en av de modeller som presenteras i detta dokument, som en sammanfattning av detta dokument.
I REF visar författarna att ett enkelt utdragssteg introducerar tillräckligt induktiva fördomar för ett abstrakt summeringssystem för att ge flytande men exakta sammanfattningar.
On Extractive and Abstractive Neural Document Summarization with Transformer Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}