Kombinationen av djupa neurala nätverk modeller och förstärka lärande algoritmer kan göra det möjligt att lära sig policyer för robotiska beteenden som direkt läser i rå sensoriska ingångar, såsom kamerabilder, effektivt subsumera både uppskattning och kontroll i en modell. Men verkliga tillämpningar av förstärkning lärande måste ange målet för uppgiften med hjälp av en manuellt programmerad belöning funktion, som i praktiken kräver antingen utforma exakt samma uppfattning pipeline som end-to-end förstärkning lärande lovar att undvika, eller annat instrumentering miljön med ytterligare sensorer för att avgöra om uppgiften har utförts framgångsrikt. I detta dokument föreslår vi en strategi för att ta bort behovet av manuell konstruktion av belöningsspecifikationer genom att göra det möjligt för en robot att lära sig av ett begränsat antal exempel på framgångsrika resultat, följt av aktivt efterfrågade frågor, där roboten visar användaren en stat och ber om en etikett för att avgöra om detta tillstånd representerar ett framgångsrikt slutförande av uppgiften. Medan begäran om etiketter för varje enskild stat skulle innebära att be användaren att manuellt ge belöningssignalen, vår metod kräver etiketter för endast en liten del av de stater som ses under utbildning, vilket gör det till en effektiv och praktisk metod för lärande färdigheter utan manuellt konstruerade belöningar. Vi utvärderar vår metod för robotmanipulering i verkligheten där observationerna består av bilder sedda av robotens kamera. I våra experiment lär sig vår metod effektivt att ordna objekt, placera böcker och drapera tyg, direkt från bilder och utan några manuellt specificerade belöningsfunktioner, och med endast 1-4 timmars interaktion med den verkliga världen.
Ett tillvägagångssätt för att undvika kravet på belöning ingenjörskonst genom periodisk förfrågan av användaren visas i REF.
End-to-End Robotic Reinforcement Learning without Reward Engineering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}