Vi studerar kontextuella banditer med budget- och tidsbegränsningar under diskreta sammanhang, som kallas begränsade kontextuella banditer. Budget- och tidsbegränsningarna ökar avsevärt komplexiteten i avvägningen mellan prospektering och utnyttjande, eftersom de skapar koppling mellan sammanhang. Sådana kopplingseffekter gör det svårt att få orakellösningar som förutsätter känd statistik över banditer. För att få insikt studerar vi först system med enhetskostnader, där kostnaderna för alla åtgärder i alla sammanhang är identiska. Vi utvecklar nästan optimala approximationer av oraklet, som sedan kombineras med den övre förtroende-bundna (UCB) metoden i det allmänna fallet där de förväntade belöningarna är okända a priori. Vi visar att våra föreslagna algoritmer, som heter UCB-PB och UCB-ALP, uppnår logaritmisk ånger utom i vissa gränsfall. Slutligen diskuterar vi utvidgningen av de föreslagna algoritmerna till allmänna kostnadssystem.
I REF föreslås en kontextuell banditer med budget- och tidsbegränsningar, som uttrycks över antalet gånger, och tidsperiod, att en arm kan dras.