Policyoptimering är en kärnkomponent i förstärkningslärande (RL), och de flesta befintliga RL-metoder optimerar direkt parametrar för en policy som bygger på att maximera den förväntade totala belöningen, eller dess surrogat. Även om man ofta uppnår uppmuntrande empirisk framgång, är dess underliggande matematiska princip om optimering av policy-distribution oklar. Vi placerar policyoptimering i utrymmet för sannolikhetsåtgärder, och tolkar det som Wasserstein lutning flöden. På sannolikhetsmätare utrymme, under angivna omständigheter, policyoptimering blir ett konvext problem när det gäller distributionsoptimering. För att göra optimering möjlig utvecklar vi effektiva algoritmer genom att numeriskt lösa motsvarande diskreta gradientflöden. Vår teknik är tillämplig på flera RL-inställningar, och är relaterad till många toppmoderna policyoptimeringsalgoritmer. Empiriska resultat verifierar effektiviteten i vårt ramverk, ofta få bättre prestanda jämfört med relaterade algoritmer.
REF placerar policyoptimering i utrymmet för sannolikhetsåtgärder, och tolkar det som Wasserstein lutning flöden.
Policy Optimization as Wasserstein Gradient Flows
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}