Djupt förstärkande lärande ger löftet om automatiskt förvärv av robotiska kontrollpolicyer som direkt kartlägger sensoriska ingångar till åtgärder på låg nivå. När det gäller robotisk rörelse skulle det kunna göra det möjligt att lära sig rörelseförmåga med minimal teknik och utan att ens behöva konstruera en modell av roboten. Det är dock ovanligt svårt att tillämpa djupt förstärkande inlärningsmetoder på verkliga robotar, både på grund av provets komplexitet och, vilket är minst lika viktigt, känsligheten hos sådana metoder för hyperparametrar. Medan hyperparameter tuning kan utföras parallellt i simulerade domäner, är det vanligtvis opraktiskt att stämma hyperparametrar direkt på verkliga robotplattformar, särskilt leged plattformar som fyrdubbla robotar som kan skadas genom omfattande försök-och-terror lärande. Vi utvecklar en stabil djup RL-algoritm som sträcker sig mjuk skådespelare-kritik, kräver minimal hyperparameter tuning, och kräver bara ett blygsamt antal försök för att lära sig flerlagers neurala nätverk politik. Vi använder sedan denna metod för att lära sig gå gångar på en verklig Minitaur robot. Vår metod kan lära sig att gå från grunden direkt i den verkliga världen i två timmars träning, utan någon modell eller simulering, och den resulterande policyn är robust till måttliga variationer i miljön. Vi visar vidare att vår algoritm uppnår toppmodern prestanda på fyra standardiserade simulerade riktmärken.
Haarnoja m.fl. REF illustrerade detta genom att visa hur en fyrbent robot kan lära sig att gå från grunden, utan förträning i simulering, på under två timmar.
Learning to Walk via Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}