Abstract-A continue-time formulering av en adaptiv kritiker design (ACD) undersöks. Anslutningar till det diskreta fallet görs, där backpropagation genom tiden (BPTT) och realtid återkommande lärande (RTRL) är vanligt förekommande. Praktiska fördelar är att detta ramverk passar väl in med växtbeskrivningar som ges av differentialekvationer och att varje standard integration rutin med adaptiv steg-storlek gör en adaptiv provtagning gratis. En andra ordningens aktörsanpassning med hjälp av Newtons metod etableras för snabb aktörskonvergens för en allmän anläggning och kritiker. Dessutom införs en snabb kritiker uppdatering för samtidig skådespelare-kritisk utbildning för att omedelbart tillämpa nödvändiga justeringar av kritiker parametrar framkallade av skådespelare uppdateringar för att hålla Bellman optimalitet korrekt till första ordningen approximation efter skådespelare förändringar. Således, kritiker och skådespelare uppdateringar kan utföras samtidigt tills några betydande fel byggs upp i Bellman optimalitet eller temporal skillnad ekvation, när en traditionell kritiker utbildning måste utföras och sedan ett annat intervall av samtidig skådespelare-kritisk utbildning kan återupptas. Index Terms-Actor-critic anpassning, adaptiv kritiker design (ACD), ungefärlig dynamisk programmering, backpropagation genom tiden (BPTT), kontinuerlig adaptiv kritiker design, realtid återkommande lärande (RTRL), förstärkning lärande, andra ordningens skådespelare anpassning.
Hanselmann m.fl. I REF föreslogs en fortlöpande ADP-formulering, där Newtons metod används i den andra ordningens anpassning för att uppnå kritikerns konvergens.
Continuous-Time Adaptive Critics
{'venue': 'IEEE Transactions on Neural Networks', 'journal': 'IEEE Transactions on Neural Networks', 'mag_field_of_study': ['Computer Science', 'Medicine']}