I den här artikeln presenterar vi en ny oövervakad videosammanfattningsmodell som inte kräver någon manuell notering. Den föreslagna modellen som kallas Cycle-SUM antar en ny cykelkonsistent adversarial LSTM-arkitektur som effektivt kan maximera informationsbevarandet och kompaktiteten i sammanfattningsvideon. Den består av en ramväljare och en cykelkonsekvent lärandebaserad utvärderare. Väljaren är ett bi-direction LSTM-nätverk som lär sig videorepresentationer som bäddar in långa förhållanden mellan videoramar. Utvärderaren definierar en inlärbar information bevara metrisk mellan original video och sammanfattning video och "övervakar" väljaren för att identifiera de mest informativa ramar för att bilda sammanfattning video. Utvärderaren består i synnerhet av två generativa kontradiktoriska nätverk (GAN), där den främre GAN lär sig att rekonstruera originalvideo från sammanfattningsvideo medan den bakåtvända GAN lär sig att invertera bearbetningen. Konsistensen mellan produktionen av sådan cykelinlärning antas som den information som bevarar metrisk för videosammanfattning. Vi visar det nära sambandet mellan ömsesidig informationsmaximering och sådan cykelinlärning. Experiment på två videosammanfattningsriktmärke datauppsättningar validera state-of-theart prestanda och överlägsenhet av Cycle-SUM-modellen jämfört med tidigare baslinjer.
REF följer ett liknande tillvägagångssätt och syftar till att maximera den ömsesidiga informationen mellan sammanfattningen och videon med hjälp av en informationsbevarande metriska, ett utbildande par diskriminatorer och ett cykelkonsekvent kontradiktoriskt lärandemål.
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}