Att erbjuda optimering är ett av de mest kritiska problemen i online-reklam. Sponsrad sökning (SS) auktion, på grund av slumpmässigheten i användarens frågebeteende och plattform natur, antar oftast sökord-nivå anbudsstrategier. Däremot har visningsreklamen (DA) som ett relativt enklare scenario för auktionering utnyttjat realtidsbudgivningen (RTB) för att öka annonsörernas prestanda. I den här artikeln anser vi att RTB-problemet i sponsrad auktion, som heter SS-RTB. SS-RTB har en mycket mer komplex dynamisk miljö, på grund av stokastiskt användarfråga beteende och mer komplexa budpolicyer baserat på flera nyckelord i en annons. De flesta tidigare metoder för DA kan inte tillämpas. Vi föreslår en lösning för att stärka inlärningen (RL) för att hantera den komplexa dynamiska miljön. Även om vissa RL-metoder har föreslagits för online-reklam, de alla misslyckas med att ta itu med problemet "miljöförändrande": sannolikheten för statsövergång varierar mellan två dagar. Motiverade av observationen att auktionssekvenser på två dagar har liknande övergångsmönster på en lämplig aggregeringsnivå, formulerar vi en robust MDP-modell på timaggregationsnivå av auktionsdata och föreslår en modellbaserad ram för SS-RTB. I stället för att direkt generera budpriser bestämmer vi en budmodell för intryck av varje timme och utför realtidserbjudanden i enlighet med detta. Vi utökar också metoden för att hantera multiagentproblemet. Vi använde SS-RTB-systemet i auktionsplattformen för e-handelssökning i Alibaba. Empiriska experiment av offline utvärdering och online A/B test visar effektiviteten av vår metod.
En förstärkning lärande baserad realtid budgivning strategi för sponsrad sökning föreslogs i REF.
Deep Reinforcement Learning for Sponsored Search Real-time Bidding
{'venue': None, 'journal': 'Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining', 'mag_field_of_study': ['Computer Science']}