Vi beskriver MÈLÉE, en metalärande algoritm för att lära sig en bra prospekteringspolitik i den interaktiva kontextuella banditmiljön. Här måste en algoritm vidta åtgärder som bygger på sammanhang, och lära sig utifrån endast en belöningssignal från de åtgärder som vidtagits, vilket skapar en utforskning/exploatering-avsättning. MÈLÉE tar itu med denna kompromiss genom att lära sig en bra prospekteringsstrategi för offlineuppgifter baserade på syntetiska data, där den kan simulera den kontextuella banditinställningen. Baserat på dessa simuleringar använder MÈLÉE en imitationsutbildningsstrategi för att lära sig en bra prospekteringspolitik som sedan kan tillämpas på verkliga kontextuella bandituppgifter vid testtillfället. Vi jämför MÈLÉE med sju starka grundläggande kontextuella banditalgoritmer på en uppsättning av trehundra verkliga datauppsättningar, där det överträffar alternativ i de flesta miljöer, särskilt när skillnader i belöningar är stora. Slutligen visar vi hur viktigt det är att ha en rik funktionsrepresentation för att lära sig utforska.
Sharaz och Daumé REF föreslog att man skulle använda en Imitation Learning-baserad metod, "MÈLÉE"-algoritm baserad på AggreVaTe.
Meta-Learning for Contextual Bandit Exploration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}