Modellfria metoder för att stärka inlärningen (RL) lyckas i ett växande antal uppgifter, med hjälp av den senaste tidens framsteg i det djupa lärandet. De tenderar dock att lida av stor urval komplexitet som hindrar deras användning i verkliga domäner. Alternativt, modellbaserad förstärkning lärande lovar att minska urvalet komplexitet, men tenderar att kräva noggrann inställning och hittills har det lyckats främst på restriktiva områden där enkla modeller är tillräckliga för lärande. I detta dokument analyserar vi beteendet hos vanilj modellbaserade förstärkande inlärningsmetoder när djupa neurala nätverk används för att lära sig både modellen och politiken, och vi visar att den lärda politiken tenderar att utnyttja regioner där otillräckliga data finns tillgängliga för modellen att lära sig, vilket orsakar instabilitet i utbildningen. För att lösa denna fråga föreslår vi att man använder en ensemble av modeller för att upprätthålla modellens osäkerhet och reglera inlärningsprocessen. Vi visar vidare att användningen av sannolikhetskvotderivat ger mycket stabilare inlärning än backpropagation genom tiden. Sammantaget minskar vår metod Modell-Ensemble Trust-Region Policy Optimization (ME-TRPO) avsevärt urvalet komplexitet jämfört med modellfria djupa RL-metoder på utmanande kontinuerlig kontroll benchmarking uppgifter 1 2.
En annan tidigare metod är modell-ensemble trust region policyoptimering (ME-TRPO) REF.
Model-Ensemble Trust-Region Policy Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}