Intrinsiskt motiverad spontan undersökning är en viktig möjliggörare av autonom livslångt lärande hos mänskliga barn. Det gör det möjligt för dem att upptäcka och förvärva stora repertoarer av färdigheter genom självgenerering, självval, självordning och självexperimentering av lärandemål. Vi presenterar den oövervakade multi-mål förstärkning lärande formella ramverk samt en algoritmisk strategi som kallas i sig motiverade mål prospekteringsprocesser (IMGEP) för att möjliggöra liknande egenskaper av autonomt lärande i maskiner. Den algoritmiska arkitekturen IMGEP bygger på flera principer: 1) självgenerering av mål som parameteriserade förstärkande inlärningsproblem; 2) urval av mål baserat på inneboende belöningar; 3) prospektering med parameteriserad tidsbunden politik och snabb inkrementell målparameteriserad policysökning; 4) systematisk återanvändning av information som förvärvats när målet för att förbättra andra mål. Vi presenterar en särskilt effektiv form av IMGEP som använder en modulär representation av målområden samt inneboende belöningar baserade på lärande framsteg. Vi visar hur IMGEPs automatiskt genererar en läroplan inom en experimentell installation där en riktig humanoid robot kan utforska flera områden av mål med flera hundra kontinuerliga dimensioner. Även om det inte finns något särskilt målmål för systemet i förväg, gör denna läroplan det möjligt att upptäcka färdigheter i ökande komplexitet, som fungerar som en språngbräda för att lära sig mer komplexa färdigheter (som nästintill verktygsanvändning). Vi visar att lärande av flera områden med olika problem kan vara mer effektivt för att lära sig komplexa färdigheter än att bara försöka direkt lära sig dessa komplexa färdigheter. Vi illustrerar beräkningseffektiviteten av IMGEPs som dessa robotiska experiment använder en enkel minnesbaserad låg nivå politiska representationer och söka algoritm, vilket gör det möjligt för hela systemet att lära sig online och stegvis på en Raspberry Pi 3.
REF-studien har ett egenmotiverat mål för robotinlärning.
Intrinsically Motivated Goal Exploration Processes with Automatic Curriculum Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}