Efter att maskinöversättningsgemenskapen nyligen antagit automatisk utvärdering med hjälp av BLEU/NIST poängsättningsprocessen, genomför vi en fördjupad studie av en liknande idé för att utvärdera sammanfattningar. Resultaten visar att automatisk utvärdering med hjälp av unigramkooccurrences mellan sammanfattning par korrelerar överraskande väl med mänskliga utvärderingar, baserat på olika statistiska mått; medan direkt tillämpning av BLEU utvärderingsförfarandet inte alltid ger goda resultat.
Det har visat sig att den automatiska utvärderingen med hjälp av ROUGE-ramverket Ref är i hög grad korrelerad med mänsklig utvärdering.
Automatic Evaluation Of Summaries Using N-Gram Co-Occurrence Statistics
{'venue': 'Human Language Technology Conference And Meeting Of The North American Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}