Med de senaste framstegen i förstärkningslärande (RL), har det funnits ett enormt intresse för att anställa RL för recommender system. RL-baserade recommender-system har två viktiga fördelar: (i) de kan kontinuerligt uppdatera sina rekommendationsstrategier enligt användarnas realtidsfeedback, och (ii) den optimala strategin maximerar den långsiktiga belöningen från användare, såsom de totala intäkterna från en rekommendation session. Men direkt utbildning och utvärdering av en ny RL-baserad rekommendationsalgoritm måste samla användarnas realtidsfeedback i det verkliga systemet, vilket är tid och ansträngningar som konsumerar och kan påverka användarnas erfarenheter negativt. Därför kräver det en användarsimulator som kan efterlikna verkliga användares beteenden där vi kan pre-traine och utvärdera nya rekommendationsalgoritmer. Simulera användarnas beteende i ett dynamiskt system står inför enorma utmaningar -(i) den underliggande objektdistributionen är komplex, och (ii) historiska loggar för varje användare är begränsade. I detta dokument utvecklar vi en användarsimulatorbas på Generative Adversarial Network (GAN). För att vara specifika, vi utformar generatorn för att fånga understrykningen distribution av användares historiska loggar och generera realistiska loggar som kan betraktas som förstärkningar av verkliga loggar, medan discriminatorn är utvecklad för att inte bara skilja verkliga och falska loggar utan också förutsäga användarnas beteende. De experimentella resultaten baserade på verkliga e-handelsdata visar effektiviteten hos den föreslagna simulatorn. Ytterligare experiment har utförts för att förstå vikten av varje komponent i simulatorn.
En användarsimulator RecSimu bas på Generative Adversarial Network (GAN) ram presenteras för RL-baserade recommender systems REF ), som modellerar verkliga användares beteenden från användares historiska loggar, och ta itu med de två utmaningarna: (i) den rekommenderade objektdistributionen är komplex inom användares historiska loggar, och (ii) märkta utbildningsdata från varje användare är begränsad.
Toward Simulating Environments in Reinforcement Learning Based Recommendations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}