Monte Carlo Tree Search (MCTS) metoder har visat sig kraftfull i planeringen för sekventiella beslutsproblem som Go och videospel, men deras prestanda kan vara dålig när planering djup och provtagning banor är begränsade eller när belöningarna är glesa. Vi presenterar en anpassning av PGRD (policy-gradient för belöningdesign) för att lära en belöning-bonus funktion för att förbättra UCT (en MCTS algoritm). Till skillnad från tidigare tillämpningar av PGRD där utrymmet för belöning-bonus funktioner var begränsad till linjära funktioner av handkodade tillstånd-action-funktioner, använder vi PGRD med en flerlagers konvolutionella neurala nätverk för att automatiskt lära funktioner från rå perception samt att anpassa de icke-linjära belöning-bonus funktionsparametrar. Vi använder också en variansreducerande gradientmetod för att förbättra PGRD:s prestanda. Den nya metoden förbättrar UCT: s prestanda på flera ATARI-spel jämfört med UCT utan belöningsbonus. Att kombinera PGRD och Deep Learning på detta sätt bör göra anpassningsvinsterna för MCTS-algoritmer mycket mer omfattande och praktiskt tillämpliga än tidigare.
I REF, Monte Carlo Tree Search (MCTS) Metoder och djupt lärande används för belöning design.
Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}