Vi beskriver en ny spatio-temporal video autoencoder, baserad på en klassisk rumslig bild autoencoder och en roman bonad temporal autoencoder. Den temporala kodaren representeras av ett differentierat visuellt minne bestående av korttidsceller (LSTM) som integrerar förändringar över tid. Här riktar vi in oss på rörelseförändringar och använder som tidsavkodare en robust optisk flödesförutsägelsemodul tillsammans med en bildavskiljare som fungerar som inbyggd återkopplingsslinga. Arkitekturen är end-to-end differentiable. Vid varje steg tar systemet emot som ingång en videoram, förutspår det optiska flödet baserat på den aktuella observationen och LSTM-minnet som en tät transformationskarta, och tillämpar den på den aktuella ramen för att generera nästa bild. Genom att minimera återuppbyggnadsfelet mellan den förutsagda nästa ram och motsvarande marksanning nästa ram, tränar vi hela systemet för att extrahera funktioner som är användbara för rörelseuppskattning utan någon övervakning ansträngning. Vi presenterar en direkt tillämpning av det föreslagna ramverket vid svagt övervakad semantisk segmentering av videor genom märkningsutbredning med hjälp av optiskt flöde.
REF föreslog ett nätverk som genom att explicit förutsäga optiska flödesfunktioner kan förutsäga nästa bild i en video.
Spatio-temporal video autoencoder with differentiable memory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}