Autonom inlärning är ett av kännetecknen för människors och djurs beteende, och förståelse av principerna för lärande kommer att vara avgörande för att uppnå sann autonomi i avancerade maskiner som humanoida robotar. I detta dokument undersöker vi inlärning av komplexa motoriska färdigheter med människoliknande lemmar. Medan övervakad lärande kan erbjuda användbara verktyg för bootstraping beteende, t.ex., genom att lära sig från demonstration, är det bara förstärka lärande som erbjuder en allmän strategi för den slutliga försök-och-terror förbättring som behövs för varje individ att förvärva en färdighet. Varken neurobiologiska eller maskininlärningsstudier har hittills gett övertygande resultat på hur förstärkande lärande kan skalas till det högdimensionella kontinuerliga tillståndet och aktionsutrymmen av människor eller humanoider. Här kombinerar vi två senaste forskningsutvecklingar om att lära sig motorkontroll för att uppnå denna skalning. För det första tolkar vi idén om modulär motorkontroll med hjälp av motoriska primitiver som ett lämpligt sätt att generera parameteriserade styrstrategier för att förstärka lärandet. För det andra kombinerar vi motoriska primitiver med teorin om stokastisk politisk gradientinlärning, som för närvarande verkar vara den enda möjliga ramen för att förstärka lärandet för humanoider. Vi utvärderar olika policy gradient metoder med fokus på deras tillämplighet på parameteriserade motor primitiva. Vi jämför dessa algoritmer i samband med motoriskt primitivt lärande, och visar att vår modernaste algoritm, Episodic Natural Actor-Critic överträffar tidigare algoritmer med åtminstone en storleksordning. Vi visar effektiviteten i denna förstärkning inlärningsmetod i tillämpningen av att lära sig att slå en baseball med en antropomorf robot arm.
Ref diskutera policy gradient metoder för att lära motor primitiva.
Reinforcement learning of motor skills with policy gradients
{'venue': 'Neural networks : the official journal of the International Neural Network Society', 'journal': 'Neural networks : the official journal of the International Neural Network Society', 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}