Den senaste tidens framsteg när det gäller abstrakt sammanfattning har lett till anmärkningsvärt flytande sammanfattningar, men faktiska fel i genererade sammanfattningar begränsar fortfarande starkt deras användning i praktiken. I detta dokument utvärderar vi sammanfattningar som tagits fram av toppmoderna modeller via crowdsourcing och visar att sådana fel förekommer ofta, särskilt med mer abstrakta modeller. Vi studerar om förutsägelser om textförutsägelser kan användas för att upptäcka sådana fel och om de kan minskas genom att omvärdera alternativa förutsedda sammanfattningar. Detta leder till en intressant nedströmsapplikation för involveringsmodeller. I våra experiment finner vi att out-the-box induration modeller som är utbildade på NLI datauppsättningar ännu inte erbjuder önskad prestanda för nedströmsuppgiften och vi släpper därför våra anteckningar som ytterligare testdata för framtida extrinsiska utvärderingar av NLI.
REF undersökte om befintliga naturliga språkinferenssystem kan användas för att utvärdera den faktiska korrektheten hos genererade sammanfattningar, och fann att modeller som är utbildade i befintliga datauppsättningar är otillräckliga för denna uppgift.
Ranking Generated Summaries by Correctness: An Interesting but Challenging Application for Natural Language Inference
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}