I modellbaserat förstärkande lärande kan generativa och tidsmässiga modeller av miljöer utnyttjas för att öka agentprestandan, antingen genom att justera agentens representationer under utbildningen eller genom användning som en del av en explicit planeringsmekanism. Deras tillämpning i praktiken har dock begränsats till förenklade miljöer på grund av svårigheten att utbilda sådana modeller i större, potentiellt delvis observerade och 3D-miljöer. I detta arbete introducerar vi en ny actionkonditionerad generativ modell av sådana utmanande miljöer. Modellen har ett icke-parametriskt rumsligt minnessystem där vi lagrar inlärda, lösryckta representationer av miljön. Lågdimensionella rumsliga uppdateringar beräknas med hjälp av en state-space modell som använder sig av kunskap om den tidigare dynamiken hos den rörliga agenten, och högdimensionella visuella observationer modelleras med en Variarational Auto-Encoder. Resultatet är en skalbar arkitektur som kan utföra sammanhängande förutsägelser över hundratals tidssteg i en rad delvis observerade 2D- och 3D-miljöer.
REF introducerar en generativ timlig modell med ett minnessystem som gör det möjligt för agenten att memorera scenens representation och förutsäga dess position i en delvis observerad miljö.
Generative Temporal Models with Spatial Memory for Partially Observed Environments
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}