I online-reklam, garanterade kontrakt och realtid budgivning (RTB) är två viktiga sätt att sälja intryck för en utgivare. Trots RTB:s ökande popularitet finns det fortfarande hälften av reklamintäkterna på nätet från garanterade kontrakt. Därför, samtidigt sälja intryck genom både garanterade kontrakt och RTB är ett enkelt val för en utgivare att maximera sin avkastning. Att härleda den optimala strategin för att fördela intryck är dock inte en trivial uppgift, särskilt inte när miljön är instabil i verkliga tillämpningar. I detta dokument formulerar vi problemet med impression allocation som ett auktionsproblem där varje kontrakt kan lämna virtuella bud för enskilda intryck. Med denna formulering härleder vi den optimala impression allokeringsstrategin genom att lösa de optimala budfunktionerna för kontrakt. Eftersom anbuden från kontrakt beslutas av förlaget, föreslår vi en multi-agent förstärkning lärande (MARL) metod för att härleda samarbetspolitik för förlaget för att maximera sin avkastning i en instabil miljö. Det föreslagna tillvägagångssättet löser också de gemensamma utmaningarna i MARL, såsom explosion av input dimension, belöning kredittilldelning och icke-stationär miljö. Experimentella utvärderingar av storskaliga verkliga datauppsättningar visar hur effektivt vårt tillvägagångssätt är.
En multiagent RL metod presenteras för att kontrollera samarbetspolitik för förlagen för att optimera sina mål i en dynamisk miljö REF.
A Multi-Agent Reinforcement Learning Method for Impression Allocation in Online Display Advertising
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}