AlphaGo Zero banade väg för konceptet med två huvud neurala nätverk i Monte Carlo Tree Search (MCTS), där policyutgången används för föregående åtgärd sannolikhet och statsvärde uppskattningen används för blad nod utvärdering. Vi föreslår en tre-huvud neurala nätarkitektur med politik, stat-och handling-värdeutgångar, vilket kan leda till effektivare MCTS eftersom neural blad uppskattning kan fortfarande tillbaka-förökas i träd med fördröjd nod expansion och utvärdering. För att effektivt träna det nyligen införda action-värde huvudet på samma spel dataset som för två-huvud nät, utnyttjar vi den optimala relationen mellan föräldrar och barn noder för dataökning och legalisering. I våra experiment för spelet Hex, den action-värde huvud lärande uppnår liknande fel som stat-värde förutsägelse av en två huvud arkitektur. De resulterande neurala nettomodellerna kombineras sedan med samma genomförande av Policy Value MCTS (PV-MCTS). Vi visar att, på grund av effektivare användning av neurala nettoutvärderingar, PV-MCTS med tre huvud neurala nät konsekvent presterar bättre än de två huvud en, betydligt outplaying den toppmoderna spelaren MoHex-CNN.
Efter att ha ersatt de mönsterbaserade spelen med neurala värdeberäkningar, en tre-huvud neural netto REF ) -när tränas på samma dataset - outperforms MoHex-CNN på 13×13 Hex.
Three-Head Neural Network Architecture for Monte Carlo Tree Search
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}