Basfunktioner som härrör från en oriktad graf som förbinder närliggande prover från en Markov-beslutsprocess (MDP) har visat sig användbara för att approximera värdefunktioner. Framgången med denna teknik tillskrivs att basfunktionerna är smidiga med avseende på tillståndets rymdgeometri. Detta papper utforskar egenskaperna hos baser som skapats från riktade grafer som är en mer naturlig passform för att uttrycka tillstånd anslutning. Digrafer fångar effekten av icke-reversibla MDP vars värdefunktioner kanske inte är jämna över angränsande stater. Vi tillhandahåller en analys med hjälp av Dirichlet summan av den riktade grafen Laplacian för att visa hur smidigheten i basfunktionerna påverkas av grafens invariant distribution. Experiment i diskreta och kontinuerliga MDP med icke reversibla åtgärder visar en betydande förbättring av de policyer som man lärt sig med hjälp av riktade grafbaser.
REF konstaterade att optimala värdefunktioner är smidiga med hänsyn till miljöns dynamik, vilket kan bevisas med vår formalism.
Constructing basis functions from directed graphs for value function approximation
{'venue': "ICML '07", 'journal': None, 'mag_field_of_study': ['Computer Science']}