Abstrakt. Filmer och TV är en rik källa till olika och komplexa video av människor, objekt, handlingar och platser "i det vilda". Att skörda automatiskt märkta sekvenser av åtgärder från video skulle göra det möjligt att skapa storskaliga och välförtjänta datauppsättningar. För att möjliggöra en sådan samling fokuserar vi på uppgiften att återställa scenstrukturen i filmer och TV-serier för objektspårning och hämtning av åtgärder. Vi presenterar en svagt övervakad algoritm som använder manus och slutna bildtexter för att tolka en film i en hierarki av bilder och scener. Scengränser i filmen är i linje med manusscensetiketter och bilder återordnas i en sekvens av långa kontinuerliga spår eller trådar som möjliggör mer exakt spårning av människor, handlingar och objekt. Scensegmentering, justering och skotttrådning formuleras som en slutsats i en enhetlig generativ modell och en ny hierarkisk dynamisk programmeringsalgoritm som kan hantera anpassning och hoppbegränsade omordningar i linjär tid presenteras. Vi presenterar kvantitativa och kvalitativa resultat om film anpassning och tolkning, och använder den återhämtade strukturen för att förbättra karaktär namngivning och hämtning av gemensamma åtgärder i flera episoder av populära TV-serier.
I REF strukturerar författarna en film i en sekvens av scener, där varje scen är organiserad i sammanflätade trådar.
Movie/Script: Alignment and Parsing of Video and Text Transcription
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}