Abstrakt. Den stora volymen av videoinnehåll och hög tittarfrekvens kräver automatisk videosammanfattning algoritmer, varav en viktig egenskap är förmågan att modellera mångfald. Om videor är långa som timmar långa egocentriska videor, är det nödvändigt att spåra de timliga strukturerna i videorna och genomdriva lokal mångfald. Den lokala mångfalden hänvisar till att de bilder som valts från en kort tid är olika men visuellt liknande bilder får samexistera i sammanfattningen om de visas långt ifrån varandra i videon. I det här dokumentet föreslår vi en ny probabilistisk modell, byggd på SeqDPP [1], för att dynamiskt kontrollera det tidsperspektiv för ett videosegment som den lokala mångfalden är påtvingad. I synnerhet gör vi det möjligt för SeqDPP att lära sig att automatiskt dra slutsatsen hur lokal den lokala mångfalden ska vara från indatavideon. Den resulterande modellen är extremt involverad för att träna med den karakteristiska uppskattningen av maximal sannolikhet (MLE), som ytterligare lider av exponeringsfördel och icke-differentierbara utvärderingsmått. För att ta itu med dessa problem utformar vi istället en förstärkande inlärningsalgoritm för utbildning av den föreslagna modellen. Omfattande experiment verifierar fördelarna med vår modell och den nya inlärningsalgoritmen över MLE-baserade metoder.
DySe-qDPP REF gjorde det möjligt för SeqDPP att lära sig att automatiskt härleda den lokala mångfaldsgraden från indatavideon genom att införa en latent variabel.
How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization
{'venue': 'European Conference on Computer Vision (ECCV 2018)', 'journal': None, 'mag_field_of_study': ['Computer Science']}