I den här artikeln studerar vi det utmanande problemet med att förutsäga dynamiken hos objekt i statiska bilder. Med tanke på ett frågeobjekt i en bild, är vårt mål att ge en fysisk förståelse av objektet i termer av de krafter som agerar på det och dess långsiktiga rörelse som svar på dessa krafter. Direkt och explicit uppskattning av krafter och rörelse av objekt från en enda bild är extremt utmanande. Vi definierar mellanliggande fysiska abstraktioner som kallas Newtonska scenarier och introducerar Newtonian Neural Network (N 3 ) som lär sig att kartlägga en enda bild till ett tillstånd i ett Newtonska scenario. Våra utvärderingar visar att vår metod på ett tillförlitligt sätt kan förutsäga dynamiken i ett frågeobjekt från en enda bild. Dessutom kan vår strategi ge fysiska resonemang som stöder den förutsagda dynamiken i termer av hastighet och kraft vektorer. För att sporra forskning i denna riktning sammanställde vi Visual Newtonian Dynamics (VIND) dataset som innehåller mer än 6000 videor i linje med Newtonska scenarier representerade med hjälp av spelmotorer, och mer än 4500 stillbilder med sin grund sanningsdynamik.
Medan i REF, författarna förutsäga rörelse av objekt med hjälp av en enda frågebild med hjälp av ett neuralt nätverk som matchar bilden till ett ögonblick i en video som är närmast att beskriva dynamiken i rörelse av scenen som avbildas i bilden.
Newtonian Image Understanding: Unfolding the Dynamics of Objects in Static Images
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}