Vi presenterar en metod för att lösa implicita (faktoriserade) Markov beslutsprocesser (MDP) med mycket stora tillstånd utrymmen. Vi inkorporerar en egenskap hos statliga rymdpartitioner som vi kallar f-homogenitet. Intuitivt, en f-homogena partition grupper tillsammans påstår att beter sig ungefär samma under alla eller någon del av policyer. Lån från det senaste arbetet på modellminimering i datorstödd programvara verification, presenterar vi en algoritm som tar en faktoriserad representation av en MDP och en 0 f I och beräknar en faktoriserad f-homogen partion av tillståndet utrymme. Denna partition definierar en familj av relaterade MOP-de MOP:er med tillståndsutrymme som är lika med blocken i partitionen, och övergångssannolikheterna "tillämpa:X:imalt" som för alla (ursprungligt MDP) tillstånd i källblocket. För att formellt studera sådana familjer av MDP introducerar vi det nya begreppet "bounded parameter MDP" (BMDP), som är en familj av (traditionella) MOPs som definieras genom specificering av övre och nedre gränser på övergångssannolikheterna och belöningarna. Vi beskriver algoritmer som fungerar på BMDPs för att hitta policyer som är ungefär optimala med avseende på den ursprungliga MDP. I kombination, vår metod för att minska en stor implicit MDP till en möjligen mycket mindre BMDP med hjälp av en f-homogen partion, och våra metoder för att välja åtgärder i BMDP: s utgör en ny metod för en lysing stora implicita MOP: s. Bland sina synpunkter ger detta nya tillvägagångssätt insikt i befintliga algoritmer för att lösa implicita MDPs, ger användbara kopplingar för att arbeta i automata teori och modellminimering, och föreslår metoder, som innebär att variera f, att handel tid och utrymme (särskilt i termer av storleken på motsvarande tillstånd utrymme) för lösningskvalitet. Markov beslutsprocesser (MDP) ger en formell ba sis för att representera planeringsproblem som involverar uncertainty [Boutilier et al., 1995a]. Det finns algoritmer för att lösa MDPs som är polynom i storleken på tillståndet utrymme [Pureman, 1994]. I detta dokument är vi intresserade av MOP där staterna specifieras implicit med hjälp av en uppsättning tillståndsvariabler. Dessa MDP har explicita tillståndsutrymmen som är exponentiella i antalet tillståndsvariabler, och är vanligtvis inte möjliga att styra lösningen med traditionella metoder på grund av storleken på det explicita tillståndsutrymmet. Det är möjligt att representera vissa MOP:er med hjälp av rymdpolylog i storleken på tillståndsutrymmet genom att faktorisera fördelningen av tillstånd och belöningsfunktionen i uppsättningar av mindre funktioner. Tyvärr behöver denna effektivitet i representationen inte översättas till ett effektivt sätt att använda datalösningar. I vissa fall, dock beroendeinformation implicit i fac tored representation kan användas för att påskynda computation av en optimal politik [Boutilier och Dearden, 1994, Boutilier et al., 1995b, Lin och Dean, 1995. Den resulterande beräkningsbesparingar kan förklaras i termer av att hitta en homogen partition av tillståndet utrymme-en partition sådan att stater i samma block övergång med samma sannolikhet till var och en av de andra blocken. En sådan partition inducerar en mindre, ex plicit MDP vars tillstånd är blocken i partitionen; den mindre MDP, eller reducerad modell är likvärdig med den ursprungliga MOP i en väl definierad betydelse. Det är möjligt att ta en MDP i faktoriserad form och hitta sin lilla est reducerade modell med hjälp av ett antal "partition splitting" operationer polynom i storleken på den resulterande modellen; dock, dessa uppdelning operationer är i gen eral proposition logik operationer som är NP-hård och därmed bara heuristically effektiv. Tillstånden i den reducerade processen motsvarar grupper av stater (i den ursprungliga processen) som beter sig likadant inom alla politikområden. De ursprungliga och reducerade processerna är likvärdiga i den meningen att de ger samma lösningar, d.v.s. samma optimala policy och statsvärden. Grundidén med att beräkna ekvivalent minskade pro-
REF introducerade begreppet ε-homogena partitioner och analyserade dess egenskaper, men utan att ge uttryckliga förlustgränser.
Model Reduction Techniques for Computing Approximately Optimal Solutions for Markov Decision Processes
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}