Förmågan att associera bilder med meningar i naturligt språk som beskriver vad som avbildas i dem är ett kännetecken för bildförståelse, och en förutsättning för tillämpningar såsom meningsbaserad bildsökning. I analogi med bildsökning, föreslår vi att rama in meningsbaserad bild annotation som uppgiften att rangordna en given pool av bildtexter. Vi introducerar en ny referenssamling för meningsbaserad bildbeskrivning och sökning, bestående av 8 000 bilder som var och en är ihopkopplade med fem olika bildtexter som ger tydliga beskrivningar av de framträdande enheterna och händelserna. Vi inför ett antal system som fungerar ganska bra på denna uppgift, även om de endast bygger på funktioner som kan erhållas med minimal övervakning. Våra resultat visar tydligt hur viktigt det är att träna på flera bildtexter och att fånga syntaktik (ordordningsbaserade) och semantiska drag i dessa bildtexter. Vi gör också en djupgående jämförelse av mänskliga och automatiska utvärderingsmått för denna uppgift, och föreslår strategier för att samla mänskliga bedömningar billigt och i mycket stor skala, så att vi kan utöka vår samling med ytterligare relevans bedömningar av vilka bildtexter beskriver vilken bild. Vår analys visar att mätvärden som beaktar den rangordnade listan över resultat för varje frågebild eller mening är betydligt mer robusta än mätvärden som baseras på ett enda svar per fråga. Dessutom föreslår vår studie att utvärderingen av rankingbaserade bildbeskrivningssystem kan vara helt automatiserad.
Hodosh et al............................................................... REF föreslog att man skulle skapa en meningsbaserad bildanmärkning som uppgift att rangordna en given grupp av bildtexter.
Framing Image Description as a Ranking Task: Data, Models and Evaluation Metrics
{'venue': 'J. Artif. Intell. Res.', 'journal': 'J. Artif. Intell. Res.', 'mag_field_of_study': ['Computer Science']}