En av de viktigaste utmaningarna när det gäller att tillämpa förstärkt inlärning på komplexa robotiska kontrolluppgifter är behovet av att samla in stora mängder erfarenhet för att hitta en effektiv politik för den aktuella uppgiften. Modellbaserat förstärkande lärande kan uppnå god urvalseffektivitet, men kräver förmågan att lära sig en modell av dynamiken som är tillräckligt bra för att lära sig en effektiv politik. I detta arbete utvecklar vi en modellbaserad förstärkande inlärningsalgoritm som kombinerar förkunskaper från tidigare uppgifter med online-anpassning av dynamiksmodellen. Dessa två ingredienser möjliggör ett mycket urvalseffektivt lärande även i system där det är mycket svårt att uppskatta den sanna dynamiken, eftersom onlinemodellens anpassning gör det möjligt för metoden att lokalt kompensera för omodellerade variationer i dynamiken. Vi kodar tidigare erfarenhet i en neural nätverk dynamik modell, anpassa den online genom att gradvis omsätta en lokal linjär modell av dynamiken, och använda modell prediktiv kontroll för att planera under dessa dynamik. Våra experimentella resultat visar att detta tillvägagångssätt kan användas för att lösa en mängd komplexa robotiska manipuleringsuppgifter i bara ett enda försök, med hjälp av tidigare data från andra manipuleringsbeteenden.
REF utbildar ett neuralt nätverk för dynamiksmodell och anpassar sin lokala linjära modell on-line för modellbaserade kontrollmetoder.
One-shot learning of manipulation skills with online dynamics adaptation and neural network priors
{'venue': '2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'journal': '2016 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}