Även om förstärkande inlärningsmetoder kan uppnå imponerande resultat i simulering, den verkliga världen innebär två stora utmaningar: att generera prover är oerhört dyrt, och oväntade störningar eller osedda situationer orsakar skicklig men specialiserad politik att misslyckas vid testtid. Med tanke på att det är opraktiskt att utbilda separata policyer för att tillgodose alla situationer som agenten kan se i den verkliga världen, föreslår detta arbete att lära sig hur man snabbt och effektivt anpassar sig online till nya uppgifter. För att möjliggöra ett urvalseffektivt lärande överväger vi att lära oss webbanpassning i samband med modellbaserat förstärkande lärande. Vår strategi använder meta-lärande för att träna en dynamik modell innan så att, i kombination med nya data, denna tidigare kan snabbt anpassas till det lokala sammanhanget. Våra experiment demonstrerar onlineanpassning för kontinuerliga kontrolluppgifter på både simulerade och verkliga agenter. Vi visar först simulerade agenter som anpassar sitt beteende online till nya terränger, invalidiserade kroppsdelar och högdynamiska miljöer. Vi illustrerar också vikten av att integrera online-anpassning i autonoma agenter som verkar i den verkliga världen genom att tillämpa vår metod på en verkligt dynamisk legged milirobot. Vi visar agentens lärda förmåga att snabbt anpassa sig online till ett ben som saknas, anpassa sig till nya terränger och sluttningar, redogöra för felkalibrering eller fel i pose uppskattning, och kompensera för att dra nyttolaster. 2 1 * Lika bidrag 2 Videor finns på:
REF föreslog att meta-learning skulle användas för onlineanpassning, och har visat sig vara effektivt i simulerade robotar och en verklig legged milirobot.
Learning to Adapt in Dynamic, Real-World Environments Through Meta-Reinforcement Learning
{'venue': 'ICLR 2019', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}