Industriella recommender system hanterar extremt stora aktionsutrymmen - många miljoner objekt att rekommendera. Dessutom måste de tjäna miljarder användare, som är unika när som helst, vilket gör ett komplext användartillstånd utrymme. Lyckligtvis finns enorma mängder av loggad implicit feedback (t.ex., användarklick, uppehållstid) tillgänglig för lärande. Inlärning från den loggade feedbacken är dock föremål för fördomar som orsakas av att endast observera feedback på rekommendationer som valts av de tidigare versionerna av rekommendationen. I detta arbete presenterar vi ett allmänt recept på att ta itu med sådana förutfattade meningar i en produktion top-K rekommendationssystem på YouTube, byggt med en policy-gradient-baserad algoritm, dvs... REINFORCE [48].................................................................................................... Bidragen från tidningen är: (1) skala REINFORCE till ett produktionsrekommendationssystem med ett åtgärdsutrymme på order av miljoner; (2) tillämpa off-policy korrigering för att ta itu med datafördomar i lärande från loggad feedback samlas in från flera beteendepolicyer; (3) föreslå en ny top-K off-policy korrigering för att redovisa vår policy rekommendera flera objekt i taget; (4) visa värdet av prospektering. Vi demonstrerar effektiviteten i våra strategier genom en serie simuleringar och flera levande experiment på YouTube.
Ett policygradientbaserat top-K-recommender-system för YouTube är utvecklat i REF, som behandlar fördomar i loggade data genom att införliva en inlärd loggningspolicy och en ny top-K off-policy korrigering.
Top-K Off-Policy Correction for a REINFORCE Recommender System
{'venue': None, 'journal': 'Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining', 'mag_field_of_study': ['Mathematics', 'Computer Science']}