För närvarande används mätvärden för att bedöma sammanräkningsalgoritmer inte redogöra för huruvida sammanfattningar är faktiska överensstämmer med källdokument. Vi föreslår ett svagt övervakat modellbaserat tillvägagångssätt för att kontrollera faktaöverensstämmelse och identifiera konflikter mellan källdokument och en genererad sammanfattning. Utbildningsdata genereras genom att tillämpa en rad regelbaserade omvandlingar på meningarna i källdokument. Den faktiska konsekvensmodellen tränas sedan gemensamt för tre uppgifter: 1) identifiera om meningarna förblir sakligt konsekventa efter omvandlingen, 2) extrahera en spännvidd i källdokumenten för att stödja konsekvensförutsägelsen, 3) extrahera en spännvidd i den sammanfattande meningen som är inkonsekvent om en finns. Att överföra denna modell till sammanfattningar som genererats av flera toppmoderna modeller visar att detta mycket skalbara tillvägagångssätt i hög grad överträffar tidigare modeller, bland annat de som utbildats med stark övervakning med hjälp av standarddatauppsättningar för naturlig språkinferens och faktakontroll. Dessutom visar den mänskliga utvärderingen att de extra uppgifterna för spännviddsutdragning ger användbar hjälp i processen för att kontrollera den faktiska konsekvensen.
REF föreslog att man skulle utvärdera de faktiska sammansättningarna i de framtagna sammanfattningarna med hjälp av en modell för kontroll av fakta med svag övervakning.
Evaluating the Factual Consistency of Abstractive Text Summarization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}