Vi studerar kontextuella multi-armad bandit problem under linjär realiserbarhet på belöningar och osäkerhet (eller buller) på funktioner. För identiska buller på funktioner över åtgärder, föreslår vi en algoritm, myntade NLinRel, med O T 7 8 log (dT ) + K ε d ångra bundna för T rundor, K åtgärder, och d-dimensionella funktion vektorer. Därefter, när det gäller icke-identiskt buller, konstaterar vi att populära linjära hypoteser inklusive NLinRel är omöjliga att uppnå sådan sub-lineär ånger. Istället, under antagande av Gaussiska funktion vektorer, visar vi att en girig algoritm har O T 2 3 OK log d ångra bundna med avseende på den optimala linjära hypotesen. Med hjälp av vår teoretiska förståelse på Gaussian fallet, designar vi också en praktisk variant av NLinRel, myntad Universal-NLinRel, för godtyckliga funktioner distributioner. Den kör först NLinRel för att hitta den "sanna" koefficient vektorn med hjälp av funktionsosäkerheter och sedan justera den för att minimera sitt beklagande med hjälp av den statistiska funktionen information. Vi motiverar Universal-NLinRels prestanda på både syntetiska och verkliga datauppsättningar.
Som en följd av detta kan vi få O( ❌ T ) ångra gränser utan ytterligare antaganden om sammanhanget distribution, medan REF få O(T 7/8 ) med identiskt buller på varje funktion, och O(T 2/3 ) för Gaussiska funktioner fördelningar.
Contextual Multi-armed Bandits under Feature Uncertainty
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}