Det har varit en explosion av arbete i vision & språk gemenskapen under de senaste åren från bildtextning till video transkription, och svara på frågor om bilder. Dessa uppgifter har varit inriktade på bokstavliga beskrivningar av bilden. För att gå bortom det bokstavliga väljer vi att undersöka hur frågor om en bild ofta riktas mot allmängiltiga slutsatser och de abstrakta händelser som framkallas av objekt i bilden. I detta dokument introducerar vi den nya uppgiften Visual Question Generation (VQG), där systemet har till uppgift att ställa en naturlig och engagerande fråga när det visas en bild. Vi tillhandahåller tre datauppsättningar som täcker en mängd olika bilder från objekt-centrerade till händelse-centrerade, med betydligt mer abstrakta träningsdata än vad som hittills tillhandahållits till toppmoderna bildtextsystem. Vi utbildar och testar flera generativa och hämtningsmodeller för att ta itu med VQG:s uppgift. Utvärderingsresultat visar att även om sådana modeller ställer rimliga frågor för en mängd olika bilder, finns det fortfarande ett stort gap med mänskliga prestationer som motiverar ytterligare arbete med att koppla samman bilder med allmän kunskap och pragmatiska. Vår föreslagna uppgift innebär en ny utmaning för samhället som vi hoppas ökar intresset för att utforska djupare kopplingar mellan vision och språk.
Visual Question Generation (VQG) är dock den uppgift som syftar till att generera "naturliga och engagerande" frågor för en bild och föreslogs av Mostafazadeh et al. Hoppa över det.
Generating Natural Questions About an Image
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}