Abstrakt. I detta dokument föreslås en ny minnesbaserad videorepresentation online som är effektiv, exakt och förutsägbar. Detta är i motsats till tidigare verk som ofta förlitar sig på beräkningstunga 3D-konvolutioner, ignorera faktiska rörelse när justera funktioner över tid, eller arbeta i ett offlineläge för att utnyttja framtida ramar. I synnerhet, vårt minne (i) innehar funktionen representation, (ii) är rumsligt förvrängd över tiden för att kompensera för observatör och scen rörelser, (iii) kan bära långsiktig information, och (iv) möjliggör förutsäga funktion representationer i framtida ramar. Genom att utforska en variant som fungerar på flera temporalskalor lär vi oss effektivt över ännu längre tidshorisonter. Vi tillämpar vårt online-ramverk för objektdetektering i videor, få en stor 2,3 gånger speed-up och förlora endast 0,9% mAP på ImageNet-VID dataset, jämfört med tidigare verk som även använder framtida ramar. Slutligen demonstrerar vi den prediktiva egenskapen hos vår representation i två nya detektionsinställningar, där funktioner sprids över tiden till (i) avsevärt förbättra en realtidsdetektor med mer än 10% mAP i en flertrådig online-uppställning och att (ii) förutse objekt i framtida ramar.
I det senaste arbetet REF, en extern minne modul används för att lära sig långsiktig online video representation på återkommande sätt.
Memory Warps for Learning Long-Term Online Video Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}