Ett centralt problem inom artificiell intelligens är att planera för att maximera framtida belöning under osäkerhet i en delvis observerbar miljö. I detta dokument föreslår och demonstrerar vi en ny algoritm som exakt lär sig en modell av en sådan miljö direkt från sekvenser av åtgärd-observation par. Vi sluter sedan slingan från observationer till åtgärder genom att planera i den lärda modellen och återställa en politik som är nästan optimal i den ursprungliga miljön. Speciellt presenterar vi en effektiv och statistiskt konsekvent spektralalalgoritm för att lära sig parametrarna för en prediktiv statsrepresentation (PSR). Vi demonstrerar algoritmen genom att lära oss en modell av en simulerad högdimensionell, visionbaserad mobil robotplaneringsuppgift, och sedan utföra ungefärlig punktbaserad planering i den lärda PSR. Analys av våra resultat visar att algoritmen lär sig ett tillstånd utrymme som effektivt fångar de väsentliga egenskaperna i miljön. Denna representation möjliggör noggrann förutsägelse med ett litet antal parametrar, och möjliggör framgångsrik och effektiv planering.
I Ref föreslogs en metod för planering i delvis observerbara miljöer.
Closing the Learning-Planning Loop with Predictive State Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}