Vi presenterar en ny datadriven videoinpainting metod för att återhämta saknade regioner av videoramar. En ny djupinlärningsarkitektur föreslås som innehåller två undernätverk: ett tidsbaserat strukturinferensnätverk och ett rumsligt nätverk som återhämtar sig. Det tidsbundna strukturinferensnätverket är byggt på en 3D-komvolutionell arkitektur: det lär sig bara att slutföra en videovolym med låg upplösning med tanke på den dyra beräkningskostnaden för 3D-konvolution. Det låga upplösningsresultatet ger tidsmässig vägledning till det rumsliga detaljåterhämtningsnätverket, som utför bildbaserad inmålning med ett 2D-helt konvolutionsnätverk för att producera återvunna videoramar i sin ursprungliga upplösning. En sådan tvåstegsnätverksdesign säkerställer både den rumsliga kvaliteten på varje ram och tidskonsistensen mellan olika ramar. Vår metod tränar gemensamt båda delnäten på ett end-to-end-sätt. Vi tillhandahåller kvalitativ och kvantitativ utvärdering av tre datauppsättningar som visar att vår metod överträffar tidigare inlärningsbaserade videoinmålningsmetoder.
Till exempel föreslog Ref ett nätverk som innehåller två undernätverk som gemensamt lär sig rumsliga detaljer och tidssammanhållning för en videoinmålning.
Video Inpainting by Jointly Learning Temporal Structure and Spatial Details
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}