I maskininlärning, begreppet multi-armade banditer hänvisar till en klass av inlärningsproblem online, där en agent är tänkt att samtidigt utforska och utnyttja en given uppsättning alternativ i loppet av en sekventiell beslutsprocess. I standardinställningen lär sig agenten av stokastisk feedback i form av verkligt värderade belöningar. I många tillämpningar är dock numeriska belöningssignaler inte lätt tillgängliga i stället, endast svagare information ges, särskilt relativa preferenser i form av kvalitativa jämförelser mellan par av alternativ. Denna observation har motiverat studien av varianter av det multi-armade bandit problemet, där mer allmänna representationer används både för typen av feedback att lära sig av och målet för förutsägelse. Syftet med detta dokument är att ge en översikt över den senaste tekniken inom detta område, kallad preferensbaserade multiarmade banditer eller duellerande banditer. I detta syfte ger vi en översikt över de problem som har beaktats i litteraturen samt metoder för att ta itu med dem. Vår taxonomi bygger främst på de antaganden som görs av dessa metoder om datagenereringsprocessen och, i samband med detta, egenskaperna hos den preferensbaserade återkopplingen.
Begreppet duellbanditer infördes av Yue och Joachims (2009) och har utvecklats under det senaste årtiondet, en färsk undersökning av fältet tillhandahålls av REF.
Preference-based Online Learning with Dueling Bandits: A Survey
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}