Belöning funktion design och prospektering tid är utan tvekan de största hindren för införandet av förstärkande lärande (RL) agenter i den verkliga världen. I många verkliga uppgifter, utforma en lämplig belöning funktion kräver betydande manuell konstruktion och ofta kräver ytterligare och potentiellt synliga sensorer för att installeras bara för att mäta om uppgiften har utförts framgångsrikt. Dessutom består många intressanta uppgifter av flera steg som måste utföras i följd. Även när slutresultatet kan mätas ger det inte nödvändigtvis användbar feedback om dessa implicita mellanliggande steg eller delmål. För att ta itu med dessa frågor, föreslår vi att utnyttja abstraktion kraften av mellanliggande visuella representationer lärt av djupa modeller för att snabbt infer perceptual belöning funktioner från ett litet antal demonstrationer. Vi presenterar en metod som kan identifiera de viktigaste mellanliggande stegen i en uppgift från bara en handfull demonstrationssekvenser, och automatiskt identifiera de mest diskriminerande funktioner för att identifiera dessa steg. Denna metod använder sig av egenskaperna i en förtränad djupmodell, men kräver ingen explicit undermålig övervakning. De resulterande belöningsfunktionerna, som är täta och smidiga, kan sedan användas av en RL-agent för att lära sig att utföra uppgiften i verkliga inställningar. För att utvärdera de inlärda belöningsfunktionerna presenterar vi kvalitativa resultat på två verkliga uppgifter och en kvantitativ utvärdering mot en människodesignad belöningsfunktion. Vi visar också att vår metod kan användas för att lära sig en komplex dörröppning med hjälp av en riktig robot, även när den demonstration som används för att belöna lärande tillhandahålls av en människa med egen hand. Enligt vår kunskap är detta de första resultaten som visar att komplexa robotiska manipulationsfärdigheter kan läras direkt och utan övervakade etiketter från en video av en människa som utför uppgiften. * Arbete som görs som en del av Google Brain Residency-programmet (t.ex.co/brainresidency).
Relaterat till vårt arbete, Sermanet et al. REF tillhandahåller belöningsfunktioner genom att identifiera viktiga mellanliggande steg för en uppgift från flera videoexempel.
Unsupervised Perceptual Rewards for Imitation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}