I många probleminställningar, framför allt när det gäller spelspel, får en agent en möjligen försenad belöning för sina handlingar. Ofta är dessa belöningar handgjorda och inte naturligt givna. Även enkla terminal-endast belöningar, som att vinna är lika med 1 och förlora lika med -1, kan inte ses som ett opartiskt uttalande, eftersom dessa värden väljs godtyckligt, och beteendet hos eleven kan förändras med olika kodningar, såsom att sätta värdet av en förlust till -0.5, vilket ofta görs i praktiken för att uppmuntra lärande. Det är svårt att argumentera om goda belöningar och utförandet av en agent beror ofta på utformningen av belöningssignalen. Särskilt på områden där stater av naturen endast har en ordinär rangordning och där meningsfull distansinformation mellan speltillståndsvärden inte finns tillgänglig, är en numerisk belöningssignal nödvändigtvis partisk. I denna artikel tar vi en titt på Monte Carlo Tree Search (MCTS), en populär algoritm för att lösa MDPs, belysa ett återkommande problem när det gäller dess användning av belöningar, och visa att en ordinal behandling av belöningar övervinner detta problem. Med hjälp av det allmänna Video Game Playing-ramverket visar vi dominans av vår nyligen föreslagna ordinära MCTS-algoritm framför preferensbaserade MCTS, vanilj MCTS och andra MCTS-varianter.
REF använde denna idé för att anpassa Monte Carlo Tree Search till användningen av ordinala belöningar.
Ordinal Monte Carlo Tree Search
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}