Vi presenterar grunderna för att använda Model Predictive Control (MPC) som en differentierad policyklass för att stärka lärandet i kontinuerliga tillstånds- och aktionsutrymmen. Detta ger ett sätt att utnyttja och kombinera fördelarna med modellfria och modellbaserade strategier. Specifikt, vi differentierar genom MPC genom att använda KKT villkor för konvex approximation på en fast punkt av regulatorn. Med hjälp av denna strategi kan vi lära oss kostnaderna och dynamiken för en controller via end-to-end-inlärning. Våra experiment fokuserar på imitationslärande i pendel- och cartpole-domänerna, där vi lär oss kostnads- och dynamikstermer för en MPC-policyklass. Vi visar att vår MPC-policy är betydligt mer dataeffektiv än ett generiskt neuralt nätverk och att vår metod är överlägsen traditionell systemidentifiering i en miljö där experten är ogenomförbar.
Amos m.fl. REF föreslog att modell Predictive Control (MPC) skulle användas som en differentierad policyklass för att stärka lärandet i kontinuerligt tillstånd och handlingsutrymmen som utnyttjar och kombinerar fördelarna med modellfria och modellbaserade metoder.
Differentiable MPC for End-to-end Planning and Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}