I den här artikeln introducerar vi en aktörskritisk algoritm kallad Deep Value Model Predictive Control (DMPC), som kombinerar modellbaserad banaoptimering med värdefunktionsuppskattning. DMPC skådespelaren är en modell Predictive Control (MPC) optimizer med en objektiv funktion definierad i termer av en värdefunktion uppskattas av kritikern. Vi visar att vår MPC-aktör är en viktig provtagare, vilket minimerar en övre gräns för korsentropin till den statliga fördelningen av den optimala provtagningspolicyn. I våra experiment med ett ballbotsystem visar vi att vår algoritm kan arbeta med glesa och binära belöningssignaler för att effektivt lösa hinderundvikande och målsökande uppgifter. Jämfört med tidigare arbete, visar vi att inklusive värdefunktionen i driftskostnaderna för banan optimerare påskyndar konvergensen. Vi diskuterar också de nödvändiga strategierna för att stärka algoritmen i praktiken.
Farshidian m.fl. REF utvecklade en algoritm som kallas Deep Value Model Predictive Control (DMPC) och som använder en skådespelare-kritisk agent vars kritiker är ett neuralt nätverk som modellerar en värdefunktion och vars aktör är en MPC som använder värdefunktionen som en del av sin optimeringskostnad.
Deep Value Model Predictive Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}