I detta dokument ger vi en enhetlig analys av temporal skillnad lärande algoritmer med linjär funktion approximerar genom att utnyttja sina anslutningar till Markov hopp linjära system (MJLS). Vi skräddarsyr MJLS-teorin utvecklad i kontrollgemenskapen för att karakterisera de exakta beteendena hos de första och andra klass-ögonblicken i en stor familj av tidsskillnader i inlärningsalgoritmer. För både IID och Markov buller fall, visar vi att utvecklingen av vissa utökade versioner av medelvärdet och covarians matris TD lärande exakt följer banan av en deterministisk linjär tid-invariant (LTI) dynamiskt system. Genom att tillämpa den välkända LTI-systemteorin får vi slutna uttryck för medel- och kovariansmatrisen för TD-inlärning när som helst. Vi ger en tight matris spektral radie villkor för att garantera konvergensen av covariansmatrisen av TD lärande, och utföra en perturbation analys för att karakterisera beroendet av TD beteenden på inlärningshastighet. För IID-fallet ger vi en exakt formel som beskriver hur medel- och kovariansmatrisen för TD-inlärning konvergerar till steady state-värdena med linjär hastighet. För Markov fallet använder vi våra formler för att förklara hur beteendet hos TD lärande algoritmer påverkas av inlärningsfrekvens och olika egenskaper hos den underliggande Markov kedjan.
REF tillhandahöll vidare en enhetlig analys för en klass av TD-lärande algoritmer med hjälp av Markovs hopplinjära system.
Characterizing the Exact Behaviors of Temporal Difference Learning Algorithms Using Markov Jump Linear System Theory
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}