Majoriteten av online-reklam serveras genom realtid budgivning (RTB) -varje annons visning intryck auktioneras bort i realtid när det bara genereras från ett användarbesök. Att placera en annons automatiskt och optimalt, är det viktigt för annonsörer att utforma en lärande algoritm för att skickligt bjuda en annons intryck i realtid. De flesta tidigare verk anser anbudsbeslutet som ett statiskt optimeringsproblem att antingen behandla värdet av varje intryck oberoende eller sätta ett budpris till varje segment av ad volym. Men budgivningen för en viss annonskampanj skulle gång på gång ske under dess livslängd innan budgeten tar slut. Som sådan, varje bud är strategiskt korrelerad med den begränsade budgeten och den övergripande effektiviteten av kampanjen (t.ex. belöningar från genererade klick), som observeras först efter att kampanjen har avslutats. Det är därför av stort intresse att utforma en optimal anbudsstrategi i angiven ordning så att kampanjbudgeten kan fördelas dynamiskt över alla tillgängliga intryck på grundval av både omedelbara och framtida belöningar. I detta dokument formulerar vi anbudsförfarandet som ett förstärkande inlärningsproblem, där det statliga utrymmet representeras av auktionsinformationen och kampanjens realtidsparametrar, medan en åtgärd är budpriset att sätta. Genom att modellera statsövergången via auktionskonkurrens bygger vi ett ramverk för Markovs beslutsprocess för att lära oss den optimala budpolicyn för att optimera reklamprestandan i den dynamiska realtidsbudgivningsmiljön. Dessutom hanteras skalbarhetsproblemet från den stora real-world auktion volym och kampanj budget väl genom statlig värde approximation med hjälp av neurala nätverk. Den empiriska studien av två storskaliga verkliga datauppsättningar och den levande A/B-testningen på en kommersiell plattform har visat på överlägsen prestanda och hög effektivitet jämfört med toppmoderna metoder.
En modellbaserad förstärkningsram för lärande föreslås för att lära sig anbudsstrategier i RTB-reklam REF, där neurala nätverk används för att approximera statsvärdet, som bättre kan hantera skalbarhetsproblemen med stor auktionsvolym och begränsad kampanjbudget.
Real-Time Bidding by Reinforcement Learning in Display Advertising
{'venue': "WSDM '17", 'journal': None, 'mag_field_of_study': ['Computer Science']}