I detta dokument analyserar vi läget för aktuell mänsklig och automatisk utvärdering av ämnesfokuserad sammanfattning i dokumentförståelsekonferensens huvuduppgift för [2005][2006][2007]. Analyserna visar att även om ROUGE har mycket stark korrelation med respons för både mänskliga och automatiska sammanfattningar, finns det en betydande skillnad i respons mellan människor och system som inte redovisas av ROUGE-måtten. Förutom att reta upp luckor i den nuvarande automatiska utvärderingen föreslår vi en metod för att maximera styrkan i nuvarande automatiska utvärderingar genom att använda metoden för kanonisk korrelation. Vi tillämpar denna nya utvärderingsmetod, som vi kallar ROSE (ROUGE Optimal Summarization Evaluation), för att hitta den optimala linjära kombinationen av ROUGE scores för att maximera korrelationen med mänsklig lyhördhet.
Ref har tidigare undersökt resultaten av ROUGE-mått i jämförelse med mänskliga bedömningar och föreslagen ROSE (ROUGE Optimal Summarization Evaluation) en linjär kombination av ROUGE-mått för att maximera korrelationen med mänsklig respons.
Mind the Gap: Dangers of Divorcing Evaluations of Summary Content from Linguistic Quality
{'venue': 'International Conference On Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}