Att utnyttja tidsberoendet bland videoramar eller subshots är mycket viktigt för uppgiften videosammanfattning. Praktiskt taget är RNN bra på modellering av tidsberoende och har uppnått överväldigande prestanda i många videobaserade uppgifter, t.ex. videotextning och klassificering. RNN kan dock inte hantera videosammanfattningsuppgiften, eftersom traditionella RNN, inklusive LSTM, endast kan hantera korta videor, medan videorna i summeringsuppgiften vanligtvis är i längre varaktighet. För att ta itu med detta problem föreslår vi ett hierarkiskt återkommande neuralt nätverk för videosammanfattning, kallat H-RNN i detta dokument. Specifikt har den två lager, där det första lagret används för att koda korta video subshots klipp från den ursprungliga videon, och det slutliga dolda tillståndet för varje subshot är inmatning till det andra lagret för att beräkna dess förtroende att vara en viktig subshot. Jämfört med traditionella RNN, H-RNN är mer lämplig för video summering, eftersom det kan utnyttja lång tidsberoende bland ramar, under tiden, beräkningsoperationerna minskas avsevärt. Resultaten från två populära datauppsättningar, inklusive den kombinerade datauppsättningen och VTW-datauppsättningen, har visat att den föreslagna H-RNN överträffar toppmoderna data. djupinlärning, videosammanfattning, hierarkiskt återkommande neuralt nätverk
REF föreslår en 2-lagers LSTM-arkitektur där det första lagret extraherar och kodar data om videostrukturen och det andra lagret använder dessa data för att definiera videons nyckelfragment.
Hierarchical Recurrent Neural Network for Video Summarization
{'venue': "MM '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}