Dataeffektivt lärande i kontinuerliga tillståndszoner med hjälp av mycket högdimensionella observationer är fortfarande en viktig utmaning när det gäller att utveckla helt autonoma system. I detta dokument överväger vi ett exempel på denna utmaning, problemet med pixlar-totorques, där en agent måste lära sig en sluten loop kontroll politik endast från pixel information. Vi introducerar en dataeffektiv, modellbaserad förstärkande inlärningsalgoritm som lär sig en sådan sluten loop-policy direkt från pixelinformation. Nyckelingrediensen är en djup dynamisk modell som använder djupa autokodrar för att lära sig en lågdimensionell inbäddning av bilder tillsammans med en förutsägelse modell i detta lågdimensionella funktionsutrymme. Detta gemensamma lärande säkerställer att inte bara statiska egenskaper data redovisas, men också dynamiska egenskaper. Detta är avgörande för långsiktiga förutsägelser, som är kärnan i den adaptiva modellprediktiva kontrollstrategi som vi använder för sluten kontroll. Jämfört med state-of-the-art förstärkning lärande metoder, vår strategi lär sig snabbt, skalor till högdimensionella tillstånd utrymmen och underlättar helt autonomt lärande från pixlar till vridmoment.
Pixel till Torques (P2T) REF använder en autoencoder för att få lågdimensionella latenta representationer från bilder tillsammans med en övergångsmodell.
From Pixels to Torques: Policy Learning with Deep Dynamical Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}