Vi introducerar en manuellt skapad, multireferens datauppsättning för abstrakta meningar och korta styckekompression. För det första undersöker vi effekten av redigering av enkel- och multi-sentence nivå på mänsklig kompression kvalitet som finns i denna corpus. Vi observerar att substitutions- och repharseringsverksamhet är mer meningsbevarande än annan verksamhet, och att sammanpressning i sammanhang förbättrar kvaliteten. För det andra undersöker vi systematiskt korrelationerna mellan automatiska mätvärden och mänskliga bedömningar av betydelsebevarande och grammatikalitet i kompressionsuppgiften, och analyserar inverkan av de språkenheter som används och precision kontra recall-mått på mätvärdenas kvalitet. Flera referensvärderingsmått har visat sig ge betydande fördelar jämfört med enskilda referensbaserade mätvärden.
REF skapade manuellt en multireferensdatauppsättning för komprimering av meningar och korta stycken och studerade korrelationerna mellan flera automatiska utvärderingsmått och mänskligt omdöme.
A Dataset and Evaluation Metrics for Abstractive Compression of Sentences and Short Paragraphs
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}