Proximal policyoptimering och förtroende region policyoptimering (PPO och TRPO) med skådespelare och kritiker parametrized av neurala nätverk uppnå betydande empirisk framgång i djup förstärkning lärande. På grund av bristande konvexitet är emellertid den globala konvergensen mellan PPO och TRPO mindre förstådd, vilket skiljer teorin från praktiken. I detta dokument bevisar vi att en variant av PPO och TRPO utrustad med överparametriserade neurala nätverk konvergerar till den globalt optimala politiken i en sublinjär takt. Nyckeln till vår analys är den globala konvergensen av oändlig-dimensionell spegel nedstigning under ett begrepp om en punkt monotonitet, där lutningen och iterat är ögonblickliga av neurala nätverk. I synnerhet, den önskvärda representation makt och optimering geometri inducerad av överparametrisering av sådana neurala nätverk gör det möjligt för dem att exakt approximera den oändliga-dimensionella gradienten och iterera.
I synnerhet är OPPO baserad på PPO (och på liknande sätt, NPG och TRPO), som har visat sig konvergera till den globalt optimala politiken vid sublinjära hastigheter i tabell- och linjära inställningar, samt icke-linjära inställningar som involverar neurala nätverk REF.
Neural Proximal/Trust Region Policy Optimization Attains Globally Optimal Policy
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}