Modellfri förstärkningsutbildning (RL) erbjuder ett attraktivt sätt att lära sig styrningspolicyer för högdimensionella system, men dess relativt dåliga urvalskomplexitet kräver ofta utbildning i simulerade miljöer. Även i simulering förblir målinriktade uppgifter, vars naturliga belöningsfunktion är sparsam, svåråtkomliga för toppmoderna modellfria algoritmer för kontinuerlig kontroll. Flaskhalsen i dessa uppgifter är den oöverkomliga mängd prospektering som krävs för att få en inlärningssignal från systemets ursprungliga tillstånd. I detta arbete utnyttjar vi fysiska förehavanden i form av en ungefärlig systemdynamiksmodell för att utforma en läroplan för en modellfri policyoptimeringsalgoritm. Vår Backward Reachability Curriculum (BaRC) börjar policyutbildning från stater som kräver ett litet antal åtgärder för att utföra uppgiften, och utökar den initiala statliga fördelningen bakåt på ett dynamiskt konsekvent sätt när policyoptimeringsalgoritmen visar tillräcklig prestanda. BaRC är allmänt, genom att det kan påskynda utbildningen av alla modellfria RL algoritmer på en bred klass av målriktade kontinuerlig styrning MDPs. Dess läroplan strategi är fysiskt intuitiv, lätt att anpassa, och gör det möjligt att införliva fysiska tidigare för att påskynda utbildningen utan att hindra prestanda, flexibilitet och tillämplighet av den modellfria RL-algoritmen. Vi utvärderar vår strategi för två representativa dynamiska robotiska inlärningsproblem och finner betydande prestandaförbättringar jämfört med tidigare läroplansgenerationstekniker och naiva prospekteringsstrategier. Flygteknik och astronautik.
Till exempel föreslår Ref att man skapar en bakåtvänd läroplan för kontinuerliga kontrolluppgifter genom att lära sig en dynamisk modell.
BaRC: Backward Reachability Curriculum for Robotic Reinforcement Learning
{'venue': '2019 International Conference on Robotics and Automation (ICRA)', 'journal': '2019 International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}