Detta papper tar ett steg mot temporal resonemang i en dynamiskt föränderlig video, inte i pixel utrymme som utgör dess ramar, men i ett latent utrymme som beskriver den icke-linjära dynamiken i objekten i sin värld. Vi introducerar Kalman variantal auto-encoder, en ram för oövervakad inlärning av sekventiella data som lösgör två latenta representationer: ett objekts representation, som kommer från en igenkänningsmodell, och ett latent tillstånd som beskriver dess dynamik. Som ett resultat kan världens utveckling föreställas och saknade data imputeras, båda utan behov av att generera högdimensionella ramar vid varje steg. Modellen är tränad end-to-end på videor av en mängd simulerade fysiska system, och överträffar konkurrerande metoder i generativa och saknade dataimputation uppgifter.
I REF har Kalman VAE introducerats för att beskriva världens utveckling, som liknar vårt arbete.
A Disentangled Recognition and Nonlinear Dynamics Model for Unsupervised Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}