Abstract-This paper föreslår en simuleringsbaserad aktiv policy lärande algoritm för ändliga-horisont, delvis observerade sekventiella beslutsprocesser. Algoritmen testas inom robotnavigering och prospektering under osäkerhet. I en sådan miljö, den förväntade kostnaden, som måste minimeras, är en funktion av trostillståndet (filtrering distribution). Denna filtreringsdistribution är i sin tur icke-linjär och föremål för diskontinuiteter, vilket uppstår på grund av begränsningar i robotens rörelse- och styrmodeller. Som ett resultat av detta är den förväntade kostnaden icke-differentierad och mycket dyr att simulera. Den nya algoritmen övervinner den första svårigheten och minskar antalet nödvändiga simuleringar enligt följande. För det första förutsätter det att vi har genomfört tidigare simuleringar som returnerar värden av den förväntade kostnaden för olika motsvarande politiska parametrar. För det andra passar det en Gaussian process (GP) regressionsmodell till dessa värden, för att approximera den förväntade kostnaden som en funktion av de politiska parametrarna. För det tredje använder den GP förutsagt medelvärde och varians för att konstruera ett statistiskt mått som bestämmer vilka policyparametrar som ska användas i nästa simulering. Processen upprepas sedan med hjälp av de nya parametrarna och den nyligen insamlade förväntade kostnadsobservationen. Eftersom målet är att hitta de politiska parametrar som minimerar den förväntade kostnaden, denna iterativa aktiva lärande strategi effektivt kompromissar-off mellan prospektering (i regioner där GP variansen är stor) och exploatering (där GP-medelvärdet är låg). I våra experiment använder en robot den föreslagna algoritmen för att planera en optimal väg för att utföra en rad uppgifter, samtidigt som informationen om dess pose och kartberäkningar maximeras. Dessa uppskattningar erhålls med ett standardfilter för samtidig lokalisering och kartläggning. När roboten samlar in nya observationer uppdaterar den statsuppskattningarna och kan planera om en ny väg i en anda av återkoppling i öppen led.
En liknande strategi som den i detta dokument presenteras i Ref, där upphovsmännen modellerar kostnaderna som en direkt funktion av de politiska parametrarna.
Active policy learning for robot planning and exploration under uncertainty
{'venue': 'IN PROCEEDINGS OF ROBOTICS: SCIENCE AND SYSTEMS', 'journal': None, 'mag_field_of_study': ['Computer Science']}