Beslutsfattande är en utmanande uppgift i online rekommenderar system. Beslutsfattaren måste ofta välja en kontextuell punkt i varje steg från en uppsättning kandidater. Sammanhangsbaserade banditalgoritmer har framgångsrikt använts för sådana tillämpningar, för avvägningen mellan prospektering och exploatering och toppmodern prestanda för att minimera onlinekostnader. Tillämpligheten av befintliga kontextuella banditmetoder begränsas dock av alltför förenklade antaganden om problemet, såsom att anta en enkel form av belöningsfunktion eller anta en statisk miljö där staterna inte påverkas av tidigare åtgärder. I detta arbete lade vi fram policy Gradients for Contextual Recommendations (PGCR) för att lösa problemet utan dessa orealistiska antaganden. Den optimerar över en begränsad klass av policys där den marginella sannolikheten för att välja en post (i förväntan av andra poster) har en enkel sluten form, och lutningen av den förväntade avkastningen över policyn i denna klass är i en koncis form. Dessutom utnyttjar PGCR två användbara heuristiska tekniker som kallas Time-Dependent Greed och Actor-Dropout. Den förra säkerställer att PGCR är empiriskt girigt i gränsen, och den senare tar itu med kompromissen mellan prospektering och exploatering genom att använda det politiska nätverket med Dropout som en Bayesian approximation. PGCR kan lösa standard kontextuella banditer samt dess Markov Decision Process generalisering. Därför kan det tillämpas på ett brett spektrum av realistiska inställningar av rekommendationer, såsom personlig reklam. Vi utvärderar PGCR på leksaksdataset samt en riktig datauppsättning av personliga musikrekommendationer. Experiment visar att PGCR möjliggör snabb konvergens och låg ånger, och överträffar både klassiska kontextuella banditer och vanilj policy gradient metoder.
PGCR REF lägger fram en policygradient för kontextuella rekommendationer för att fånga upp högkvalitativa icke-linjära kopplingar av funktioner i sammanhanget.
Policy Gradients for Contextual Recommendations
{'venue': "WWW '19", 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}