Dense videotextning är en ny framväxande uppgift som syftar till att både lokalisera och beskriva alla händelser i en video. Vi identifierar och tar itu med två utmaningar på denna uppgift, nämligen, 1) hur man kan använda både tidigare och framtida sammanhang för korrekta händelseförslag förutsägelser, och 2) hur man konstruerar informativa indata till dekoder för att generera naturliga händelsebeskrivningar. För det första, tidigare verk genererar främst temporal händelse förslag i framåt riktning, som försummar framtida video sammanhang. Vi föreslår en dubbelriktad förslagsmetod som effektivt utnyttjar både tidigare och framtida sammanhang för att göra förslagsprognoser. För det andra är olika händelser som slutar samtidigt (nästan) oskiljaktiga i de tidigare verken, vilket resulterar i samma bildtexter. Vi löser detta problem genom att representera varje händelse med en uppmärksam fusion av dolda tillstånd från förslagsmodulen och videoinnehåll (t.ex. C3D-funktioner). Vi föreslår också en ny mekanism för att balansera bidragen från den aktuella händelsen och dess omgivande sammanhang på ett dynamiskt sätt. Vi visar empiriskt att vår uppmärksamt sammansmälta händelse representation är överlägsen förslaget dolda stater eller videoinnehåll ensam. Genom att koppla förslag och bildtexter till ett enhetligt ramverk överträffar vår modell toppmoderna data på ActivityNet Captions dataset med en relativ vinst på över 100% (Meteor score ökar från 4.82 till 9.65).
REF utnyttjar både tidigare och framtida sammanhang för att förutsäga korrekta händelseförslag.
Bidirectional Attentive Fusion with Context Gating for Dense Video Captioning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}