Abstrakt. Detta papper presenterar en video summering teknik för en Internet-video för att ge ett snabbt sätt att överblicka dess innehåll. Detta är ett utmanande problem eftersom hitta viktiga eller informativa delar av den ursprungliga videon kräver att förstå dess innehåll. Dessutom är innehållet i Internet-videor mycket varierande, allt från hemvideor till dokumentärer, vilket gör videosammanfattningen mycket svårare eftersom förkunskaper nästan inte är tillgängliga. För att ta itu med detta problem, föreslår vi att använda djup video funktioner som kan koda olika nivåer av innehåll semantik, inklusive objekt, åtgärder, och scener, förbättra effektiviteten av standard video summering tekniker. För detta designar vi ett djupt neuralt nätverk som kartlägger videor samt beskrivningar till ett gemensamt semantiskt utrymme och gemensamt tränade det med tillhörande par av videor och beskrivningar. För att generera en videosammanfattning extraherar vi de djupa funktionerna från varje segment av den ursprungliga videon och tillämpar en klusterbaserad summeringsteknik för dem. Vi utvärderar våra videosammanfattningar med hjälp av SumMe-datasetet samt referensmetoder. Resultaten visade fördelarna med att införliva våra djupa semantiska funktioner i en videosammanfattningsteknik.
En annan klustermetod föreslås av Otani et al. REF, där de använder djup video funktioner för att koda olika nivåer av innehåll inklusive objekt, åtgärder och scener.
Video Summarization using Deep Semantic Features
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}