Ett av de största hindren för bred tillämpning av förstärkande inlärningsmetoder är parameterkänsligheten hos våra kärnlärande algoritmer. I många storskaliga tillämpningar, online beräkning och funktion approximation representerar nyckelstrategier för att skala upp förstärkningen av inlärningsalgoritmer. I den här situationen har vi effektiva och någorlunda välförståeliga algoritmer för att anpassa parametern för lärandet online under lärandet. Sådana meta-lärandestrategier kan förbättra inlärningens robusthet och göra det möjligt att specialisera sig på den aktuella uppgiften och förbättra inlärningshastigheten. För inlärningsalgoritmer som vi studerar här finns det ytterligare en parameter, λ, som på liknande sätt påverkar inlärningshastigheten och stabiliteten i praktiken. Olyckligtvis parametriserar λ till skillnad från parametern "inlärningsgrad" den objektiva funktion som tids-differentieringsmetoder optimerar. Olika val av λ producerar olika fasta-punkt lösningar, och därmed anpassa λ online och karakterisera optimeringen är betydligt mer komplicerat än att anpassa inlärningsparametern. Det finns ingen meta-lärandemetod för λ som kan uppnå (1) stegvis uppdatering, (2) kompatibilitet med funktionstillnärmning och (3) upprätthålla en stabil inlärning under både on- och off-policyprovtagning. I detta dokument bidrar vi med en ny objektiv funktion för att optimera λ som en funktion av stat snarare än tid. Vi härleder en ny inkrementell, linjär komplexitet λ-adaption algoritm som inte kräver offline batch uppdatering eller tillgång till en modell av världen, och presentera en serie experiment som illustrerar praktiskheten av vår nya algoritm i tre olika inställningar. Tillsammans utgör våra bidrag ett konkret steg mot svart-box tillämpning av inlärningsmetoder för tidsskillnad i verkliga problem i världen.
REF anpassar girigt hyperparametern TD(λ) som en funktion av tillståndet.
A Greedy Approach to Adapting the Trace Parameter for Temporal Difference Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}