Vi anser att problemet med att lösa en icke-homogen oändlig horisont Markov Decision Process (MDP) problem i det allmänna fallet av potentiellt flera optimala första perioden politik. Mer exakt, vi söker en algoritm som, med tanke på en ändlig delmängd av problemets potentiellt oändliga datauppsättning, levererar en optimal första period policy. En sådan algoritm kan således rekursivt generera, inom en rullande horisont procedur, en oändlig horisont optimal lösning på den ursprungliga oändliga horisont problem. Det kan dock hända att det för ett givet problem inte finns någon sådan algoritm. I detta fall är det omöjligt att lösa problemet med en ändlig mängd data. Vi säger att sådana problem inte är välgrundade. Under antagandet att öka marginalavkastningen i åtgärder (med avseende på stater) och stokastiskt ökande stater som systemet övergår till (när det gäller åtgärder), tillhandahåller vi en algoritm som garanteras att lösa motsvarande icke-homogena MDP närhelst problemet är välplacerat. Algoritmen fortskrider genom att upptäcka, i ändlig tid, en prognoshorisont för vilken en optimal lösning ger en optimal första period policy till den oändliga horisonten problemet. I synnerhet visar vi genom konstruktion, förekomsten av en prognoshorisont (och därmed en lösningshorisont) för alla sådana välplacerade problem. Vi illustrerar den teori och de algoritmer som utvecklats genom att lösa varje välplacerat fall av den tidsvarierande versionen av det klassiska problemet med försäljning av tillgångar. 1991 Matematik Ämnesklassificering. Primär 90C40 Sekundär 90B15, 90C39.
Vi följer REF som söker en ändlig algoritm som kan lösa alla välplacerade Markovs beslutsprocessproblem (ett problem är väl placerat om det går att lösa).
SOLUTION AND FORECAST HORIZONS FOR INFINITE HORIZON NONHOMOGENEOUS MARKOV DECISION PROCESSES
{'venue': None, 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}