Vi anser att combinatorial multi-armad bandit (CMAB) problem, där belöningen funktionen är icke-linjär. I denna inställning väljer agenten ett parti av armar på varje runda och får feedback från varje arm av partiet. Den belöning som agenten strävar efter att maximera är en funktion av de utvalda armarna och deras förväntningar. I många applikationer är belöningsfunktionen mycket icke-linjär, och prestandan hos befintliga algoritmer bygger på en global Lipschitz konstant för att inkapsla funktionens icke-linjäritet. Detta kan leda till lösa ångergränser, eftersom en stor lutning i sig själv inte nödvändigtvis orsakar en stor ånger, utan endast i regioner där osäkerheten i belöningens parametrar är hög. För att lösa detta problem inför vi ett nytt mjukhetskriterium, som vi kallar Gini-viktad mjukhet, som tar hänsyn till både den icke-linjära karaktären hos vapnens belöning och koncentrationsförmåga. Vi visar att ett linjärt beroende av ångern i batchstorleken i befintliga algoritmer kan ersättas av denna jämnhetsparameter. Detta i sin tur leder till mycket hårdare ånger gränser när släthet parametern är batch-storlek oberoende. Till exempel, i den probabilistiska maximal täckning (PMC) problem, som har många tillämpningar, inklusive påverkan maximering, olika rekommendationer och mer, vi uppnå dramatiska förbättringar i de övre gränserna. Vi visar oss också matcha lägre gränser för PMC-problemet och visar att vår algoritm är tight, upp till en logaritmisk faktor i problemets parametrar.
Nyligen presenterade REF BC-UCB, en Bernstein-baserad UCB-algoritm med ångergränser som är beroende av en ny mjukhetsåtgärd, som de kallar den Gini-viktade mjukheten.
Batch-Size Independent Regret Bounds for the Combinatorial Multi-Armed Bandit Problem
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}