Sammanfattning av denna webbsida: Förstärkt lärande krävs manuell specifikation av en belöningsfunktion för att lära sig en uppgift. Även om denna belöningsfunktion i princip bara behöver specificera uppgiftsmålet, i praktiken kan förstärka lärande vara mycket tidskrävande eller till och med ogenomförbar om inte belöningsfunktionen är utformad för att ge en jämn lutning mot ett framgångsrikt resultat. Denna formning är svår att specificera för hand, särskilt när uppgiften lärs av råa observationer, t.ex. bilder. I den här artikeln studerar vi hur vi automatiskt kan lära oss dynamiska avstånd: ett mått på det förväntade antalet tidssteg för att nå ett givet måltillstånd från alla andra stater. Dessa dynamiska avstånd kan användas för att ge välformade belöningsfunktioner för att nå nya mål, vilket gör det möjligt att lära sig komplexa uppgifter effektivt. Vi visar också att dynamiska avstånd kan användas i en halvövervakad regim, där oövervakad interaktion med miljön används för att lära sig de dynamiska avstånden, medan en liten mängd preferensövervakning används för att bestämma uppgiftsmålet, utan någon manuellt konstruerad belöningsfunktion eller målexempel. Vi utvärderar vår metod både i simulering och på en riktig robot. Vi visar att vår metod kan lära sig rörelsefärdigheter i simulering utan någon handledning. Vi visar också att det kan lära sig att vrida en ventil med en real-world 9-DoF hand, med rå bild observationer och tio preferensetiketter, utan någon annan övervakning. Videor av de lärda färdigheterna finns på projektets webbplats: https://sites.google.com/view/skills-via-distans-learning
På senare tid föreslog REF att man automatiskt skulle lära sig dynamiska sträckor, som definieras som ett mått på det förväntade antalet tidssteg för att nå ett givet mål som kan användas som inneboende belöningar för att påskynda lärandet för att uppnå målen.
Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}