Videosammanfattning syftar till att underlätta storskalig videosurfning genom att producera korta, koncisa sammanfattningar som är olika och representativa för originalvideor. I detta dokument formulerar vi videosammanfattning som en sekventiell beslutsprocess och utvecklar ett djupsammanfattningsnätverk (DSN) för att sammanfatta videor. DSN förutsäger för varje videoram en sannolikhet, som anger hur troligt en bild är vald, och sedan vidtar åtgärder baserade på sannolikhetsfördelningen för att välja ramar, bildar videosammanfattningar. För att utbilda vår DSN föreslår vi en end-to-end, förstärkt inlärningsbaserad ram, där vi utformar en ny belöningsfunktion som tillsammans står för mångfald och representativitet av genererade sammanfattningar och inte förlitar sig på etiketter eller användarinteraktioner alls. Under utbildningen bedömer belöningsfunktionen hur olika och representativa de genererade sammanfattningarna är, medan DSN strävar efter att tjäna högre belöningar genom att lära sig att producera mer varierande och mer representativa sammanfattningar. Eftersom etiketter inte krävs kan vår metod vara helt oövervakad. Omfattande experiment på två referensdatauppsättningar visar att vår oövervakade metod inte bara överträffar andra moderna oövervakade metoder, utan också är jämförbar med eller till och med överlägsen än de flesta publicerade övervakade metoder.
Zhou m.fl. REF lade fram en slutlig oövervakad ram som också byggde på ett förstärkt inlärningsparadigm.
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
{'venue': None, 'journal': 'arXiv: Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}