Visuell berättelse är ofta en kombination av explicit information och omdömesgilla utelämnanden, beroende på att betraktaren tillhandahåller saknade detaljer. I serier är de flesta rörelser i tid och rum gömda i "gutters" mellan panelerna. För att följa berättelsen kopplar läsarna logiskt samman paneler genom att dra en slutsats om osynliga handlingar genom en process som kallas "avskärmning". Medan datorer nu kan beskriva vad som explicit avbildas i naturliga bilder, undersöker vi i detta dokument om de kan förstå de stängningsdrivna berättelser som förmedlas av stiliserade konstverk och dialoger i serietidningar. Vi konstruerar ett dataset, COMICS, som består av över 1,2 miljoner paneler (120 GB) parade med automatiska textbox transkriptioner. En ingående analys av COMICS visar att varken text eller bild ensam kan berätta en serietidningshistoria, så en dator måste förstå båda metoderna för att hålla jämna steg med handlingen. Vi introducerar tre kloze-stil uppgifter som ber modeller att förutsäga berättande och karaktär-centrerade aspekter av en panel som ges n föregående paneler som sammanhang. Olika djupa neurala arkitekturer underpresterande mänskliga baslinjer för dessa uppgifter, vilket tyder på att COMICS innehåller grundläggande utmaningar för både vision och språk. * Författare bidrog lika 1 Data, kod och anteckningar som ska göras tillgängliga efter blind granskning.
COMICS dataset REF fokuserar på serieboksberättelser och utforskar visuella kloze-frågor och introducerar ett dataset bestående av ritningar från serietidningar.
The Amazing Mysteries of the Gutter: Drawing Inferences Between Panels in Comic Book Narratives