Med den växande populariteten av korta videodelningsplattformar som Instagram och Vine, har det funnits ett ökande behov av tekniker som automatiskt extraherar höjdpunkter från video. Medan tidigare verk har närmat sig detta problem med heuristiska regler eller övervakat lärande, presenterar vi en oövervakad inlärningsmetod som drar nytta av överflödet av användarredigerade videor på sociala medier webbplatser som YouTube. Baserat på idén att de viktigaste sub-händelserna inom en videoklass är vanligt förekommande bland redigerade videor medan mindre intressanta de verkar mindre ofta, identifierar vi de betydande sub-händelserna via en robust återkommande auto-encoder utbildad på en samling av användarredigerade videor som frågas för varje viss klass av intresse. Auto-encodern tränas med hjälp av en föreslagen krympande exponentiell förlustfunktion som gör den robust för att brusa i den webkrawled träningsdata, och är konfigurerad med dubbelriktat korttidsminne (LSTM) [5] celler för att bättre modellera temporal struktur av höjdpunkt segment. Olika från övervakade tekniker, vår metod kan dra slutsatsen höjdpunkter med hjälp av endast en uppsättning nedladdade redigerade videor, utan att också behöva deras pre-redigerade motsvarigheter som sällan är tillgängliga online. Omfattande experiment indikerar löftet om vår föreslagna lösning i denna utmanande oövervakade miljö.
Yang m.fl. REF introducerade först det dubbelriktade korttidsminnet (LSTM) för att automatiskt extrahera höjdpunkterna (nyckelramarna) från videor.
Unsupervised Extraction of Video Highlights via Robust Recurrent Auto-Encoders
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}