Abstrakt. Markov Decision Processes (MDP) är en populär klass av modeller som lämpar sig för att lösa kontrollbeslutsproblem i probabilistiska reaktiva system. Vi anser att parametriska MDP (pMDP) som inkluderar parametrar i några av övergångssannolikheterna för att ta hänsyn till stokastiska osäkerheter i miljön såsom buller eller inmatningsstörningar. Vi studerar pMDP med nåbarhetsmål där parametervärdena är okända och omöjliga att mäta direkt under utförandet, men det finns en sannolikhetsfördelning känd över parametervärdena. Vi studerar för första gången beräkning parameter-oberoende strategier som är förväntan optimal, dvs optimera den förväntade räckvidd sannolikhet under sannolikhetsfördelningen över parametrarna. Vi presenterar en kodning av vårt problem till delvis observerbara MDPs (POMDPs), dvs. en minskning av vårt problem till att datorisera optimala strategier i POMDPs. Vi utvärderar vår metod experimentellt på flera riktmärken: en motiverande (upprepade) inlärarmodell; en serie riktmärken med varierande konfigurationer av en robot som rör sig på ett rutnät; och ett konsensusprotokoll.
pMDP med en fördelning över parametrarna beaktas i REF.
Parameter-Independent Strategies for pMDPs via POMDPs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}