Vi utvecklar en kvalitativ teori av Markov Decision Processes (MOPs) och Delvis Ob servisable MOPs som kan användas för att modellera sekventiella beslutsfattande uppgifter när endast kvalitativ information finns tillgänglig. Vår ap proach är baserad på en order-of-magnitude approximation av både sannolikheter och utilies, liknande €-semantik. Resultatet är en kvalitativ teori som har nära band med den standard max-förväntade-utility den ory och är tillgänglig för allmän planering techniques. Den allmänna uppgiften att sekventiellt fatta beslut om osäkerhet och partiell information är av central betydelse i AI eftersom den omfattar ett brett spektrum av gemensamma problem som finns i planering, robotik, spellösning, etc. För närvarande, den mest allmänna och tydliga för mulation av uppgiften uppnås genom teorin om Markov Decision Processes (MOPs) och Delvis Ob serviable MOPs (POMOPs) [8, 16, 4]. Dessa modeller ger inte bara ett bra, koncist och allmänt ramverksarbete för att modellera komplexa problem utan också algoritmer för att lösa dem, det viktigaste är Value Iteration och Policy Iteration algoritmer. Standardformuleringen för en MOP (eller POMOP) består av två typer av ingredienser: a) kvalitativ information som definierar problemets struktur, t.ex. uppsättningen av världskonfigurationer (tillståndsutrymme), uppsättningen tillgängliga beslut (även kallade kontroller eller åtgärder), den feedback som agenten kan få osv. och i allmänhet beror (optimal) lösning till en MOP (POMOP) på båda typerna av information, såstan dard algoritmer behöver sådan information. Vi har dock ganska ofta exakta kunskaper om den kvalitativa informationen, men endast "stora" uppskattningar av de kvantitativa parametrarna. I sådana fall kan standarden al gorithms inte tillämpas om inte den saknade informationen är "fullbordad" - en process som ofta är arg och onödig för att erhålla rimliga lösningar. I idealfallet skulle vi vilja ha en välgrundad ram där delvis specificerade problem kan lösas.1 I detta dokument utvecklar vi en kvalitativ teori för MOP och POMOP där sådana underspecificerade problem kan modelleras och lösas. Som det kommer att ses, kan re sulting teorin ses som en generalisering av standard MOP teorin i den meningen att allteftersom den kvantitativa informationen blir mer exakt, de kvalitativa processerna blir "närmare" till standardprocesserna. Mer exakt kommer vi att visa hur en kvalitativ beskrivning av den sekventiella beslutsuppgiften med hjälp av Kappa rankningar kan översättas till en "konsistent" beskrivning med hjälp av polynom i en dummyvariabel£. Då kan Stan dard algoritmer som Value Iteration tillämpas för att erhålla optimala lösningar. Anledningen till att göra denna översättning och inte utföra Value Iteration över inmatningsbeskrivningen är att magnitudmängderna inte ökar genom summeringar, så att resultatet från Value Iteration inte kan användas för att skilja mellan olika politikområden. Som det kommer att ses, är bidragen i detta dokument tre: i) det ger en formell grund för en sekventiell beslutsteori baserad på poly-1 Andra metoder för att lösa ospecificerade MDP är de som bygger på förstärkningslärande, men de uppskattar i princip den kvantitativa informationen från experiment; se [26].
Det arbete som ligger närmast vårt är att av Bonet och Pearl REF som anser kvalitativa MDPs och POMDPs bygger också på en order-of-magnitude approximation av sannolikheter och helt beställda verktyg.
Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation
{'venue': None, 'journal': 'arXiv: Artificial Intelligence', 'mag_field_of_study': ['Computer Science']}