Man har länge antagit att problem med kontinuerlig högdimensionell kontroll inte kan lösas effektivt genom att man diskrettiserar de enskilda dimensionerna av åtgärdsutrymmet på grund av det exponentiellt stora antalet behållare som politiken måste lära sig om. I detta dokument hämtar vi inspiration från de senaste framgångarna med sekvens-till-sekvens modeller för strukturerade förutsägelseproblem för att utveckla policyer över diskretiserade utrymmen. Centralt för denna metod är insikten att komplexa funktioner över högdimensionella utrymmen kan modelleras av neurala nätverk som använder nästa steg förutsägelse. Specifikt visar vi hur Q-värden och policyer över kontinuerliga utrymmen kan modelleras med hjälp av en nästa steg förutsägelse modell över diskretiserade dimensioner. Med denna parameterisering är det möjligt att både utnyttja kompositionsstrukturen i åtgärdsrymder under lärandet, samt beräkna maxima över åtgärdsrymder (ungefär). På ett enkelt exempel visar vi empiriskt att vår metod kan utföra global sökning, vilket effektivt tar sig runt de lokala optimeringsfrågor som plågar DDPG och NAF. Vi tillämpar tekniken på off-policy (Q-learning) metoder och visar att vår metod kan uppnå state-of-the-art för off-policy metoder på flera kontinuerliga kontrolluppgifter.
REF tillämpar Q-lärande på flerdimensionella kontinuerliga åtgärdsutrymmen genom att diskretisera varje kontinuerlig delåtgärd.
Discrete Sequential Prediction of Continuous Actions for Deep RL
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}