Imitationslärande har ofta tillämpats för att lösa olika uppgifter isolerat. Detta kräver vanligtvis antingen noggrann funktionsteknik, eller ett betydande antal prover. Detta är långt ifrån vad vi önskar: helst, robotar bör kunna lära sig av mycket få demonstrationer av en given uppgift, och omedelbart generalisera till nya situationer av samma uppgift, utan att kräva uppgiftsspecifik ingenjörskonst. I detta dokument föreslår vi en metalearning-ram för att uppnå en sådan förmåga, som vi kallar imitationslärande. Vi tänker särskilt på den miljö där det finns en mycket stor (kanske oändlig) uppsättning uppgifter, och varje uppgift har många momentiationer. Till exempel, en uppgift kan vara att stapla alla block på ett bord i ett enda torn, en annan uppgift kan vara att placera alla block på ett bord i två block torn, etc. I varje fall skulle olika fall av uppgiften bestå av olika uppsättningar block med olika inledande stater. Vid träningstid, vår algoritm presenteras med par av demonstrationer för en delmängd av alla uppgifter. Ett neuralt nät tränas som tar som ingång en demonstration och det nuvarande tillståndet (som initialt är det ursprungliga tillståndet för den andra demonstrationen av paret), och ger en åtgärd med målet att den resulterande sekvensen av tillstånd och åtgärder matchar så nära som möjligt med den andra demonstrationen. Vid provtillfället presenteras en demonstration av en enda instans av en ny uppgift, och det neurala nätet förväntas prestera bra på nya instanser av denna nya uppgift. Våra experiment visar att användningen av mjuk uppmärksamhet gör det möjligt för modellen att generalisera till förhållanden och uppgifter som inte syns i träningsdata. Vi förväntar oss att vi genom att utbilda denna modell på en mycket större variation av uppgifter och inställningar kommer att få ett allmänt system som kan förvandla alla demonstrationer till robust politik som kan utföra en överväldigande mängd olika uppgifter. (vänster) Uppgiftsspecifik politik. Denna policy är tränad att stapla block i två torn, var och en av höjd 3. (höger) En särskild uppgiftsspecifik politik. Denna policy är tränad att stapla block i tre torn, var och en av höjd 2. För fordon av kategorierna M1 och N1 ska följande villkor vara uppfyllda: Traditionellt sett är politiken uppgiftsspecifik. Till exempel, en politik kan ha utbildats (genom imitation eller förstärkning lärande) att stapla block i torn på höjd 3, och sedan en annan politik skulle tränas att stapla block i torn på höjd 2, etc. I detta dokument är vi intresserade av politik som inte är specifik för en uppgift, utan snarare kan berätta (genom en enda demonstration) vad den nuvarande nya uppgiften är och vara framgångsrik med denna nya uppgift. Som belysande exempel skulle vi vilja kunna ge en enda demonstration av varje uppgift, och utifrån detta skulle politiken med ett enda slag veta vad vi ska göra när vi står inför en ny situation för uppgiften, där blocken slumpmässigt omorganiseras. Videor av de illustrerade uppgifterna finns tillgängliga på http://bit.ly/one-shot-imitation.
Meta lärande i omvänd förstärkning lärande fokuserar på imitation lärande, som en-shot imitation lärande REF.
One-Shot Imitation Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}