Detta papper tar upp problemet med övervakad video summering genom att formulera det som en sekvens-till-sekvens inlärningsproblem, där indata är en sekvens av ursprungliga videoramar, utdata är en keyshot sekvens. Vår viktigaste idé är att lära sig ett djupt summering nätverk med uppmärksamhet mekanism för att härma sättet att välja nyckelbilder av människan. I detta syfte föreslår vi ett nytt ramverk för videosammanfattning som heter Attentive Encoder-decoder nätverk för videosammanfattning (AVS), där kodaren använder en dubbelriktad Long Short-Term Memory (BiLSTM) för att koda den kontextuella informationen bland de ingående videoramarna. När det gäller dekoder undersöks två uppmärksamhetsbaserade LSTM-nätverk med hjälp av additiva och multiplikativa objektiva funktioner. Omfattande experiment utförs på tre referensdatauppsättningar för videosammanfattning, dvs. SumMe, TVSum och YouTube. Resultaten visar att de föreslagna AVS-baserade strategierna är överlägsna de centrala strategierna, med anmärkningsvärda förbättringar från 3 % till 11 % av de tre datauppsättningarna.
Encoderdecoder struktur antas också i AVS REF där kodaren använder en dubbelriktad LSTM för att extrahera funktioner i videoramar och dekoder använder två uppmärksamhetsbaserade LSTMs för att beräkna vikten av bilder.
Video Summarization with Attention-Based Encoder-Decoder Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}