Förstärkt lärande tar traditionellt hänsyn till uppgiften att balansera prospektering och utnyttjande. Detta arbete undersöker batch förstärkning lärande-uppgiften att maximalt utnyttja en viss sats av icke-politiska data, utan ytterligare datainsamling. Vi visar att på grund av fel som införts genom extrapolering, är standard utanför policy djup förstärkning lärande algoritmer, såsom DQN och DDPG, bara kapabla att lära sig med data korrelerade till deras nuvarande politik, vilket gör dem ineffektiva för de flesta off-policy tillämpningar. Vi introducerar en ny klass av offpolicyalgoritmer, batch-konstruerad förstärkning lärande, som begränsar åtgärdsutrymmet för att tvinga agenten att agera på policy när det gäller en delmängd av de givna data. Vi utvidgar denna idé till djupt förstärkande lärande, och till det bästa av vår kunskap, presentera den första kontinuerliga kontrollen djupt förstärka lärande algoritm som kan lära sig effektivt från okorrelerade off-policy data.
I REF föreslogs batchconstraated förstärkningsinlärning för att förbättra den icke-politiska inlärningen från en fast sats av övergångar, vilket begränsar åtgärdsutrymmet i DQN och DDPG för att tvinga RL-agenten att agera nära policyn med avseende på den nuvarande batchen av övergångar.
Off-Policy Deep Reinforcement Learning without Exploration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}