Policyn för kunskapsgradient (KG) föreslogs ursprungligen för problem med rankning och urval offline, men har nyligen anpassats för att användas vid beslut på nätet i allmänhet och multiarmade banditproblem i synnerhet. Vi studerar dess användning i en klass av exponentiella familj MABs och identifiera svagheter, inklusive en benägenhet att vidta åtgärder som domineras med avseende på både exploatering och utforskning. Vi föreslår varianter av KG som undviker sådana fel. Dessa nya strategier omfattar en indexheuristic som använder en KG-strategi för att utveckla en approximation till Gittins index. En numerisk studie visar att denna policy fungerar bra över en rad MABs inklusive de för vilka indexpolitiken inte är optimal. Även om KG inte vidtar dominerade åtgärder när banditer är Gaussian, det misslyckas att vara index konsekvent och verkar inte ha en prestanda fördel jämfört med konkurrerande politik när armar korreleras för att kompensera för sina större beräkningskrav. ArXiv:1607.05970v2 [stat.ML]
Nyligen identifierade Ref svagheter i kunskapsgradientpolitiken för beslutsfattande online och föreslog varianter av politiken för att övervinna svagheterna.
On the Identification and Mitigation of Weaknesses in the Knowledge Gradient Policy for Multi-Armed Bandits
{'venue': 'Probability in the Engineering and Informational Sciences, 31(2) 239-263 (2017)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}