Abstract-Vi undersöker den dubbla inställningen till dynamisk programmering och förstärkning lärande, baserat på att upprätthålla en uttrycklig representation av stationära distributioner i stället för värdefunktioner. En betydande fördel med den dubbla metoden är att den gör det möjligt för en att utnyttja välutvecklade tekniker för att representera, approximera och uppskatta sannolikhetsfördelningar, utan att löpa de risker som är förknippade med olika värdefunktionsuppskattningar. En andra fördel är att vissa distinkta algoritmer för den genomsnittliga belöningen och rabatterade belöningsfall i primal blir enhetliga under den dubbla. I detta dokument presenterar vi en modifierad dubbel av standard linjär program som garanterar en globalt normaliserad statsbesök distribution erhålls. Med denna omformulering får vi sedan fram nya dubbla former av dynamisk programplanering, inklusive utvärdering av politiken, politisk iteration och värderening. Dessutom härleder vi dubbla formuleringar av tidsmässiga skillnader lärande för att få nya former av Sarsa och Q-learning. Slutligen skalar vi dessa tekniker upp till stora områden genom att införa approximation och utveckla nya approximativa utompolitiska inlärningsalgoritmer som undviker de divergensproblem som är förknippade med det primära tillvägagångssättet. Vi visar att den dubbla vyn ger ett livskraftigt alternativ till standardvärdefunktionsbaserade tekniker och öppnar nya vägar för att lösa dynamiska programmerings- och förstärkningsproblem. Algoritmer för dynamisk programmering (DP) och förstärkningsinlärning (RL) är vanligtvis formulerade i termer av värdefunktioner-representationer av det långsiktiga förväntade värdet av ett tillstånd eller stat-action par [1]. Värdebegreppet är så genomträngande i DP och RL att det är svårt att föreställa sig att en värdefunktionsrepresentation inte är en nödvändig komponent i någon lösningsmetod. Metoder för linjär programmering (LP) visar dock tydligt att värdefunktionen inte är ett nödvändigt begrepp för att lösa problem med DP/RL. I LP-metoder motsvarar värdefunktionerna endast den primära formuleringen av problemet, och förekommer inte alls i den dubbla. Snarare ersätts i de dubbla värdefunktionerna av begreppet "state" (eller "state-action") besöksdistributioner [2], [3], [4]. Det är helt möjligt att lösa DP- och RL-problem i den dubbla representationen, som erbjuder ett likvärdigt men annorlunda tillvägagångssätt för att lösa DP/RL-problem utan någon hänvisning till värdefunktioner. Trots den välkända LP-dualiteten har dubbla representationer inte undersökts i någon större utsträckning i DP och RL. I själva verket har de endast anekdotiskt och delvis behandlats i RL litteratur [5], [6], och inte på ett sätt som erkänner någon koppling till LP dualitet. Ändå, som vi kommer att visa, finns det en dubbel form för varje standard DP och RL algoritm,
I motsats till den ursprungliga formen, alla möjliga rabatterade statliga åtgärder besök frekvensfördelning kartor till en faktisk policy REF.
Dual Representations for Dynamic Programming and Reinforcement Learning
{'venue': '2007 IEEE International Symposium on Approximate Dynamic Programming and Reinforcement Learning', 'journal': '2007 IEEE International Symposium on Approximate Dynamic Programming and Reinforcement Learning', 'mag_field_of_study': ['Computer Science']}