Nya framsteg inom banditverktyg och tekniker för sekventiell inlärning möjliggör ständigt nya tillämpningar och lovar att lösa en rad utmanande relaterade problem. Vi studerar problemet med spelträdssökning, där målet är att snabbt identifiera det optimala draget i ett givet spelträd genom att sekventiellt ta prover på dess stokastiska vinster. Vi utvecklar nya algoritmer för träd av godtyckligt djup, som fungerar genom att sammanfatta alla djupare nivåer av trädet till konfidensintervall på djup ett, och tillämpa en bästa arm identifiering förfarande vid roten. Vi bevisar nya urval komplexitet garantier med ett förfinat beroende av problem exempel. Vi visar experimentellt att våra algoritmer överträffar befintliga elimineringsbaserade algoritmer och matchar tidigare specialmetoder för djup två träd. En algoritm som uppfyller denna egenskap kallas ( ska, δ)-korrekt. Den största utmaningen är att designa korrekt algoritmer som använder så få bladutvärderingar som möjligt. Relaterat arbete Modellen vi introducerar för Monte-Carlo Tree Search påminner mycket om en stokastisk banditmodell. I dessa, en agent väljer upprepade gånger en av flera sannolikhetsfördelningar, kallas armar, och drar ett prov från den valda fördelningen. Banditer modeller har studerats sedan 1930-talet [22], mestadels med fokus på ångerminimering, där agenten syftar till att maximera summan av de insamlade proven, som betraktas som belöningar [17]. I samband med MCTS, ett prov motsvarar en vinst eller en förlust i en play-out, och maximera antalet framgångsrika play-outs (som motsvarar simulerade spel) kan vara i odds med att snabbt identifiera nästa bästa åtgärd att ta på roten. I det, vårt bästa åtgärd identifiering problem är närmare ett så kallat bästa arm identifiering (BAI) problem. Målet i standard BAI problem är att snabbt och exakt hitta armen med högsta medelvärde. BAI-problemet i det fasta självförtroendet [7] är specialfallet för vår enkla modell för ett djupträd. För djupare träd, snarare än att hitta den bästa armen (dvs. Blad), är vi intresserade av att hitta den bästa åtgärden på roten. Eftersom den bästa grundåtgärden är en funktion av alla bladens medel, är detta ett mer strukturerat problem. Banditalgoritmer och senare BAI-algoritmer har framgångsrikt anpassats till trädsökning. Med utgångspunkt i UCB-algoritmen [2], en beklagande minimeringsalgoritm, har varianter av UCT-algoritmen [16] använts för MCTS i växande träd, vilket leder till framgångsrika AIs för spel. Det finns dock endast mycket svaga teoretiska garantier för UCT. Dessutom är det inte målet att maximera antalet framgångsrika utspel, utan den senaste tidens arbete har snarare försökt utnyttja verktyg från BAI-litteraturen. I [18, 6] Sekventiell halvering [13] används för att utforska viltträd. Den senare algoritmen är en toppmodern algoritm för den fasta budgeten BAI problem [1], där målet är att identifiera den bästa armen med minsta sannolikhet för fel baserat på en given budget av dragningar. Den föreslagna SHOT-algoritmen (Sequential Halving applied tO Trees) [6] jämförs empiriskt med UCT-metoden [16], som visar förbättringar i vissa fall. En hybrid tillvägagångssätt blandning SHOT och UCT studeras också [18], fortfarande utan urval komplexitet garantier. I den fasta förtroendeinställningen, [21] utveckla de första urval komplexa garantier i den modell vi anser. Den föreslagna algoritmen, FindTopWinner är baserad på enhetliga provtagningar och elimineringar, en metod som kan relateras till Successive Eliminerings algoritm [7] för fast självförtroende BAI i banditmodeller. FindTopWinner fortsätter i rundor, där de blad som inte har eliminerats provtas upprepade gånger tills precisionen
På senare tid har REF gett höga sannolikhetsgränser för urvalets komplexitet i två andra varianter av MCTS som kallas UGapE-MCTS och LUCB-MCTS.
Monte-Carlo Tree Search by Best Arm Identification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}