Vi studerar en Bayesian multi-armad bandit (MAB) inställning där en rektor försöker maximera summan av förväntade tidsdiskonterade belöningar som uppnås genom att dra vapen, när armarna faktiskt dras av själviska och myopiska individer. Eftersom sådana personer drar armen med högsta förväntade bakre belöning (dvs. de alltid utnyttja och aldrig utforska), måste huvudmannen uppmuntra dem att utforska genom att erbjuda lämpliga betalningar. Bland annat denna inställning modeller crowdsourced information upptäckt och finansiärer som uppmuntrar forskare att utföra högrisk, hög-löneforskning. Vi utforskar kompromissen mellan huvudmannens totala förväntade tidsdiskonterade incitamentsbetalningar, och de totala tidsdiskonterade belöningarna realiseras. Specifikt, med en tid-discount faktor γ  med (0, 1), låt OPT betecknar den totala förväntade tid-discounted belöning som kan uppnås av en rektor som drar armarna direkt i ett MAB-problem, utan att behöva motivera själviska agenter. Vi kallar ett par (ρ, b)  på [0, 1] 2 bestående av en belöning ρ och betalning b uppnåelig om för varje MAB instans, med hjälp av förväntade tidsdiskonterade betalningar på högst b·OPT, huvudmannen kan garantera en förväntad tidsdiskonterad belöning på minst ρ·OPT. Vårt huvudsakliga resultat är en i huvudsak fullständig karakterisering av uppnåeliga (betalning, belöning) par: om är uppnåelig, och om I bevisa denna karakterisering, analyserar vi så kallade tidsförlängda politik, som i varje steg låta agenterna välja myopiskt med någon sannolikhet p, och motivera dem att välja "optimalt" med sannolikhet 1 - p. Analysen av tidsförlängda politik leder till en fråga som kan vara av oberoende intresse: Om samma MAB instans (utan själviska agenter) anses under två olika tidsavvikelser γ > η, hur liten kan förhållandet mellan OPTη till OPTγ vara? Vi ger ett fullständigt svar på denna fråga, som visar att OPTη ≥ (1−γ) (1−η) 2 · OPTγ, och att denna gräns är snäv.
I detta sammanhang har Frazier m.fl. REF utforska den möjliga uppsättningen mellan de monetära belöningar som den huvudansvarige måste betala för att stimulera prospektering och den tid diskonterade förväntade belöningen till huvudmannen.
Incentivizing exploration
{'venue': "EC '14", 'journal': None, 'mag_field_of_study': ['Computer Science']}