Människor kan lätt beskriva vad de ser på ett sammanhängande sätt och på olika detaljnivå. Befintliga metoder för automatisk videobeskrivning är dock huvudsakligen inriktade på en enda meningsgenerering och producerar beskrivningar på en fast detaljnivå. I detta dokument tar vi upp båda dessa begränsningar: för en variabel detaljnivå producerar vi sammanhängande multi-sentence beskrivningar av komplexa videor. Vi följer en tvåstegsstrategi där vi först lär oss att förutsäga en semantisk representation (SR) från video och sedan generera naturliga språkbeskrivningar från SR. För att producera konsekventa multi-sentence beskrivningar, vi modellerar över-sentence konsekvens på nivå med SR genom att driva ett konsekvent ämne. Vi bidrar också både till visuellt erkännande av objekt som föreslår en handcentrerad strategi samt till robust generering av meningar med hjälp av ett ordlattice. Mänskliga domare bedömer våra multi-sentence-beskrivningar som mer läsbara, korrekta och relevanta än relaterade arbeten. För att förstå skillnaden mellan mer detaljerade och kortare beskrivningar, samlar vi in och analyserar en videobeskrivning corpus av tre nivåer av detaljer.
I REF utvidgade de sitt arbete till att omfatta ett system med videobeskrivning på tre nivåer.
Coherent Multi-Sentence Video Description with Variable Level of Detail
{'venue': 'GCPR', 'journal': None, 'mag_field_of_study': ['Computer Science']}