Vi introducerar den första datauppsättningen för sekventiell vision-till-språk, och utforska hur denna data kan användas för uppgiften att visuellt berätta. Den första utgåvan av denna datauppsättning, SIND 1 v.1, innehåller 81.743 unika bilder i 20.211 sekvenser, anpassade till både beskrivande (bild) och story language. Vi etablerar flera starka baslinjer för berättaruppgiften, och motiverar ett automatiskt mått för att jämföra framsteg. Modellering av konkret beskrivning samt bildligt och socialt språk, såsom tillhandahålls i detta dataset och berättande uppgift, har potential att flytta artificiell intelligens från grundläggande förståelser av typiska visuella scener till mer och mer mänsklig-liknande förståelse av grundlagd händelsestruktur och subjektiva uttryck.
ViST REF ) är en sekventiell vision till språk uppgift som visar skillnader mellan beskrivningar i isolering och berättelser i sekvenser.
Visual Storytelling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}