Vi tar itu med problemet med att syntetisera nya videoramar i en befintlig video, antingen mellan befintliga ramar (interpolering), eller efter dem (extrapolering). Detta problem är utmanande eftersom video utseende och rörelse kan vara mycket komplex. Traditionella optiska-flödesbaserade lösningar misslyckas ofta där flödesuppskattning är utmanande, medan nyare neural-nätverksbaserade metoder som hallucinerar pixelvärden direkt ofta ger suddiga resultat. Vi kombinerar fördelarna med dessa två metoder genom att träna ett djupt nätverk som lär sig att syntetisera videoramar genom att flöda pixelvärden från befintliga, som vi kallar djup voxelflöde. Vår metod kräver ingen mänsklig övervakning, och någon video kan användas som träningsdata genom att släppa, och sedan lära sig att förutsäga, befintliga ramar. Tekniken är effektiv och kan användas vid alla videoupplösningar. Vi visar att vår metod ger resultat som både kvantitativt och kvalitativt förbättrar den senaste tekniken.
I samma anda, Liu et al. REF föreslår att träna en konvolution neurala nätverk för att syntetisera en mellanliggande ram genom att flöda och blanda pixelvärden från de befintliga input ramar enligt den förutsagda voxel flöde.
Video Frame Synthesis Using Deep Voxel Flow
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}