Vi presenterar Sekventiell Delta, Infer, Upprepa (SQAIR), en tolkningsbar djup generativ modell för videor av rörliga objekt. Den kan på ett tillförlitligt sätt upptäcka och spåra objekt genom hela sekvensen av ramar, och kan också generera framtida ramar konditionering på den aktuella ramen, vilket simulerar förväntad rörelse av objekt. Detta uppnås genom att uttryckligen koda objektnärvaro, platser och framträdanden i modellens latenta variabler. SQAIR behåller alla styrkor av sin föregångare, Delta, Infer, Upprepa (AIR, Eslami et al., 2016), inklusive lärande på ett oövervakat sätt, och tar itu med sina brister. Vi använder en rörlig multi-MNIST dataset för att visa begränsningar av AIR för att upptäcka överlappande eller delvis ockluded objekt, och visa hur SQAIR övervinner dem genom att utnyttja tidsmässig konsekvens av objekt. Slutligen tillämpar vi även SQAIR på verkliga fotgängare CCTV-data, där det lär sig att på ett tillförlitligt sätt upptäcka, spåra och generera gånggående fotgängare utan övervakning.
Sekventiell Delta, Slut, Upprepa (SQAIR) REF ) förlängd AIR för att hantera videor snarare än bilder.
Sequential Attend, Infer, Repeat: Generative Modelling of Moving Objects
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}