Vi introducerar en ram för Compositional Imitation Learning and Execution (Comple) av hierarkiskt strukturerat beteende. CompILE lär sig återanvändbara segment av beteende med variabel längd från demonstrationsdata med hjälp av en ny oövervakad, helt olika sekvenssegmenteringsmodul. Dessa lärda beteenden kan sedan återkomponeras och utföras för att utföra nya uppgifter. Vid träningstid, CompILE auto-kodar observerat beteende i en sekvens av latenta koder, var och en motsvarar en variabel längd segment i ingångssekvensen. En gång tränad, vår modell generaliserar till sekvenser av längre längd och från miljö fall som inte setts under träning. Vi utvärderar vår modell i en utmanande 2D multi-task miljö och visar att CompILE kan hitta korrekta uppgiftsgränser och händelsekodningar på ett oövervakat sätt utan att kräva kommenterade demonstrationsdata. Latentkoder och tillhörande beteendepolicyer som upptäckts av CompILE kan användas av en hierarkisk agent, där högnivåpolicyn väljer åtgärder i det latenta kodutrymmet, och de lågnivå, uppgiftsspecifika policyerna är helt enkelt de inlärda avkodarna. Vi fann att vår agent kunde lära sig att endast få glesa belöningar, där agenter utan specifik politik kämpar. I detta arbete fokuserar vi på problemet med att gemensamt lära sig segmentera, förklara och imitera agentbeteende (från demonstrationer) via ett oövervakat självkodningsmål. Encodern lär sig att gemensamt dra slutsatser om händelsegränser och abstraktioner på hög nivå (latenta kodningar) av aktivitet inom varje † Arbete som görs under en praktik på DeepMind.
REF föreslog mjuk-segmentering av sekvens för kompositionell imitation lärande.
Compositional Imitation Learning: Explaining and executing one task at a time
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}