Generalisering har varit en av de stora utmaningarna för inlärningsdynamikmodeller i modellbaserat förstärkande lärande. Men tidigare arbete med actionkonditionerad dynamik förutsägelse fokuserar på att lära pixel-nivå rörelse och därmed inte generalisera väl till nya miljöer med olika objekt layouter. I detta dokument presenterar vi en ny objektorienterad ram, kallad objektorienterad dynamik prediktor (OODP), som bryter ner miljön i objekt och förutspår dynamiken hos objekt som är beroende av både handlingar och objekt-till-objekt-relationer. Det är ett end-to-end neural nätverk och kan tränas på ett oövervakat sätt. För att möjliggöra den generella förmågan att lära sig dynamik utformar vi en ny CNN-baserad relationsmekanism som är klassspecifik (snarare än objektspecifik) och utnyttjar lokalprincipen. Empiriska resultat visar att OODP betydligt överträffar tidigare metoder i termer av generalisering över nya miljöer med olika objektlayouter. OODP kan lära sig av mycket få miljöer och exakt förutsäga dynamik i ett stort antal osynliga miljöer. Dessutom lär sig OODP semantiskt och visuellt tolkningsbara dynamiska modeller.
Senare arbete tränade en objektorienterad dynamik prediktor genom att segmentera input ramar i uppsättningar av objekt REF.
Object-Oriented Dynamics Predictor
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}