I detta arbete presenterar vi en ny förstärkningslärande agent, kallad Reactor (för Retraceactor), baserad på en off-policy flerstegs retur skådespelare-kritisk arkitektur. Agenten använder ett djupt återkommande neuralt nätverk för funktion approximation. Nätverket resulterar i en målpolitik π (aktören), en åtgärds-värde Q-funktion (kritikern) som utvärderar den nuvarande politiken π, och en uppskattad beteendepolitikμ som vi använder för icke-policykorrigering. Agenten har en minnesbuffert fylld med tidigare erfarenheter. Kritiken tränas av multi-steg off-policy Retrace algoritm och skådespelaren tränas genom en ny β-leave-oneout policy gradient uppskattning (som använder både off-policy korrigerad avkastning och den uppskattade Q-funktion). Reactor är sample-effektiv tack vare användningen av minne replay, och numerisk effektiv eftersom den använder flera steg avkastning. Även både handling och lärande kan parallelliseras. Vi utvärderade vår algoritm på 57 Atari 2600 spel och visar att den uppnår toppmodern prestanda.
Den föreslagna förstärkande inlärningsagenten i REF är till exempel en typisk flerstegsåtervändande aktörskritisk arkitektur.
The Reactor: A Sample-Efficient Actor-Critic Architecture
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}