Abstract-Vi presenterar en ny metod för lärande kontroll politik som framgångsrikt fungerar under okända dynamiska modeller. Vi skapar en sådan politik genom att utnyttja ett stort antal utbildningsexempel som genereras med hjälp av en fysisk simulator. Vårt system består av två komponenter: en Universal Policy (UP) och en funktion för Online System Identification (OSI). Vi beskriver vår kontrollpolitik som universell eftersom den är tränad över ett brett spektrum av dynamiska modeller. Dessa variationer i den dynamiska modellen kan inbegripa skillnader i massa och tröghet hos robotarnas komponenter, variabla friktionskoefficienter eller okänd massa hos ett föremål som ska manipuleras. Genom att utbilda den Universella Policyn med denna variation är styrpolicyn förberedd för ett bredare spektrum av möjliga villkor när den utförs i en okänd miljö. Den andra delen av vårt system använder systemets senaste tillstånds- och aktionshistoria för att förutsäga dynamiksmodellparametrarna μ. Värdet av μ från Online System Identification ges sedan som indata till kontrollpolicyn (tillsammans med systemtillståndet). Tillsammans är UP-OSI en robust kontrollpolicy som kan användas i ett brett spektrum av dynamiska modeller, och som också är lyhörd för plötsliga förändringar i miljön. Vi har utvärderat resultatet av detta system på en mängd olika uppgifter, inklusive problemet med vagn-stång swing-up, dubbel inverterad pendel, locomotion av en tratt, och block-throwing av en manipulator. UP-OSI är effektivt på dessa uppgifter i ett brett spektrum av dynamiska modeller. Dessutom överträffar UP-OSI enbart den universella policyn när den testas med dynamiska modeller utanför träningsområdet, även när UP får det faktiska värdet av modellens dynamik. Förutom fördelarna med att skapa mer robusta regulatorer, håller UP-OSI också ut löfte om att begränsa Reality Gap mellan simulerade och verkliga fysiska system.
som sedan matas in i policyn tillsammans med agent State Ref.
Preparing for the Unknown: Learning a Universal Policy with Online System Identification
{'venue': 'Robotics: Science and Systems', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}