Abstrakt. Det finns ett stort intresse för uppgiften att automatiskt generera bildtexter. Utvärdering är dock en utmaning. Befintliga automatiska mätvärden är i första hand känsliga för överlappning mellan n-gram, vilket varken är nödvändigt eller tillräckligt för att simulera mänskligt omdöme. Vi antar att semantiskt propositionsinnehåll är en viktig komponent i utvärdering av mänsklig bildtext, och föreslår en ny automatiserad bildtextbedömning metriska definieras över scen grafer myntade SPICE. Omfattande utvärderingar över en rad modeller och datauppsättningar visar att SPICE fångar mänskliga bedömningar över modellgenererade bildtexter bättre än andra automatiska mätvärden (t.ex. korrelation på systemnivå på 0,88 med mänskliga bedömningar av MS COCO-datauppsättningen, jämfört med 0,43 för CIDER och 0,53 för METEOR). Dessutom kan SPICE svara på frågor som vilken bildtextgenerator som bäst förstår färger? Och kan bildtext-generatorer räknas?
I samma forskningslinje visade REF att de mest använda mätvärdena för IC inte fångar semantiskt propositionsinnehåll, vilket är en väsentlig del av utvärderingen av mänsklig bildtext.
SPICE: Semantic Propositional Image Caption Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}