Trots de senaste framgångarna för neurala nätverk i bildfunktionsinlärning, ett stort problem i videodomänen är bristen på tillräckligt märkta data för att lära sig att modellera temporal information. I det här dokumentet föreslår vi en oövervakad tidsbaserad modelleringsmetod som lär sig av ostrimmade videor. Rörelsehastigheten varierar konstant, t.ex. kan en man springa snabbt eller långsamt. Vi tränar därför en multirate Visual Recurrent Model (MVRM) genom att koda ramar av ett klipp med olika intervall. Denna inlärningsprocess gör den lärda modellen mer kapabel att hantera rörelsehastighetsvariabilitet. Med tanke på ett klipp från en video, använder vi dess förflutna och framtida grannklipp som tidssammanhang, och rekonstruera de två tidsövergångar, dvs., nuvarande→tidigare övergång och nuvarande→framtida övergång, återspeglar den timliga informationen i olika vyer. Den föreslagna metoden utnyttjar de båda övergångarna samtidigt genom att införliva en dubbelriktad rekonstruktion som består av en efterbliven återuppbyggnad och en framtida återuppbyggnad. Vi tillämpar den föreslagna metoden på två utmanande videouppgifter, d.v.s. komplex händelsedetektering och videotextning, där den uppnår toppmodern prestanda. I synnerhet genererar vår metod den bästa enskilda funktionen för händelsedetektering med en relativ förbättring på 10,4 % på MedTest-13-datasetet och uppnår bästa prestanda i videotext med alla utvärderingsmått på YouTube2Text-datasetet.
REF ) föreslår också Multirate Gated Recurrent Unit att koda ramar av ett videoklipp med olika intervall, så att modellen kan hantera rörelsehastighet varians.
Bidirectional Multirate Reconstruction for Temporal Modeling in Videos
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}