Prov komplexitet och säkerhet är stora utmaningar när man lär sig politik med förstärkning lärande för verkliga uppgifter, särskilt när politiken representeras med hjälp av rika funktion approximatorer som djupa neurala nätverk. Modellbaserade metoder där den verkliga måldomänen är ungefärlig med hjälp av en simulerad källkodsdomän ger en väg att ta itu med ovanstående utmaningar genom att utöka verkliga data med simulerade data. Skillnader mellan den simulerade källdomänen och måldomänen utgör dock en utmaning för simulerad utbildning. Vi introducerar EPOpt algoritmen, som använder en ensemble av simulerade källdomäner och en form av kontradiktorisk utbildning för att lära sig policyer som är robusta och generaliserade till ett brett spektrum av möjliga måldomäner, inklusive omodellerade effekter. Dessutom kan sannolikhetsfördelningen över källdomäner i ensemblen anpassas med hjälp av data från måldomänen och approximation av Bayesian metoder, för att gradvis göra det till en bättre approximation. Att lära sig på en modellensemble, tillsammans med anpassning till källdomäner, är därför en fördel för både robusthet och inlärning/anpassning.
Slutligen använder författarna i REF en ensemble av något störda modellparametrar för att lära sig en robust politik.
EPOpt: Learning Robust Neural Network Policies Using Model Ensembles
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}