Bildbeskrivning är en ny uppgift för den naturliga språkgenerationen, där syftet är att skapa en människolik beskrivning av en bild. Utvärderingen av datorgenererad text är ett notoriskt svårt problem, men kvaliteten på bildbeskrivningarna har vanligen mätts med hjälp av unigram BLEU och mänskliga bedömningar. Fokus i detta dokument är att fastställa korrelationen mellan automatiska åtgärder och mänskliga bedömningar för denna uppgift. Vi uppskattar korrelationen mellan unigram och Smoothed BLEU, TER, ROUGE-SU4 och Meteor mot mänskliga bedömningar på två datamängder. Huvudresultatet är att Unigram BLEU har en svag korrelation och Meteor har den starkaste korrelationen med mänskliga bedömningar.
REF visar att METEOR har det starkaste sambandet med mänskliga bedömningar i bildbeskrivningsutvärderingen.
Comparing Automatic Evaluation Measures for Image Description
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}