Vi formulerar följande combinatorial multiarmed bandit (MAB) problem: Det finns slumpmässiga variabler med okänt medelvärde som är varje omedelbar i en i.i.d.. mode över tid. Vid varje gång flera slumpmässiga variabler kan väljas, med förbehåll för en godtycklig begränsning av vikter som är förknippade med de valda variablerna. Alla utvalda enskilda slumpvariabler observeras vid den tidpunkten, och en linjärt viktad kombination av dessa utvalda variabler erhålls som belöning. Målet är att hitta en politik som minimerar ånger, definieras som skillnaden mellan den belöning som erhålls av en ande som vet medelvärdet av varje slumpmässig variabel, och den som erhålls genom den givna politiken. Denna formulering är allmänt tillämplig och användbar för stokastiska online-versioner av många intressanta uppgifter i nätverk som kan formuleras som dragbar kombinatoriska optimeringsproblem med linjära objektiva funktioner, såsom maximal viktad matchning, kortaste vägen, och minsta spännvidd träd beräkningar. Tidigare arbete på multi-armade banditer med flera pjäser kan inte tillämpas på denna formulering på grund av den allmänna karaktären av begränsningen. Å andra sidan gör kartläggningen av alla möjliga kombinationer till armar det möjligt att använda tidigare arbete på MAB med singelspel, men resulterar i ånger, lagring och beräkning växer exponentiellt i antalet okända variabler. Vi lägger fram en ny effektiv politik för detta problem som visar sig leda till beklagande som växer logaritmiskt med tiden och polynomiskt i antalet okända variabler. Dessutom kräver dessa policyer endast lagring som växer linjärt i antalet okända parametrar. För problem där det underliggande deterministiska problemet är hanterbart, kräver dessa strategier ytterligare endast polynomisk beräkning. För beräkningsmässigt svåråtkomliga problem presenterar vi också resultat på en annan uppfattning om ånger som är lämplig när en polynom-tids approximationsalgoritm används. Index Terms-Combinatorial nätverksoptimering, multiarmade banditer (MABs), online-inlärning.
Till exempel, REF föreslår kombinatoriska MAB där eleven väljer vid varje runda en super arm som består av flera armar, observerar resultaten av de utvalda armarna, och får en linjär kombination av belöningarna för de utvalda armarna.
Combinatorial Network Optimization With Unknown Variables: Multi-Armed Bandits With Linear Rewards and Individual Observations
{'venue': 'IEEE/ACM Transactions on Networking', 'journal': 'IEEE/ACM Transactions on Networking', 'mag_field_of_study': ['Computer Science', 'Mathematics']}