Vi studerar konvergensen av Markov beslutsprocesser, som består av ett stort antal objekt, för att optimera problem på vanliga differentialekvationer. Vi visar att den optimala belöningen för en sådan Markov beslutsprocess, som uppfyller en Bellman ekvation, konvergerar till lösningen av en kontinuerlig Hamilton-Jacobi-Bellman (HJB) ekvation baserad på den genomsnittliga fält approximation av Markov beslutsprocessen. Vi ger gränser för skillnaden mellan belöningarna och en algoritm för att härleda en approximerande lösning till Markovs beslutsprocess från en lösning av HJB-ekvationerna. Vi illustrerar metoden på tre exempel som avser investeringsstrategier, befolkningsdynamikskontroll och schemaläggning i köer. De används för att illustrera och motivera konstruktionen av den kontrollerade ODE och för att visa fördelen med att lösa en kontinuerlig HJB ekvation snarare än en stor diskret Bellman ekvation. Index Terms-Epidemic modell, Hamilton-Jacobi-Bellman (HJB), Markov beslutsprocesser, medelfält, optimal kontroll.
Gast och al. REF studerade ett optimeringsproblem på ett stort markovianskt system.
Mean Field for Markov Decision Processes: From Discrete to Continuous Optimization
{'venue': 'IEEE Transactions on Automatic Control', 'journal': 'IEEE Transactions on Automatic Control', 'mag_field_of_study': ['Computer Science', 'Mathematics']}