Att hantera glesa belöningar är en av de största utmaningarna inom förstärkningslärande (RL). Vi presenterar en ny teknik som kallas Hindsight Experience Replay som gör det möjligt att ta prov-effektivt lärande från belöningar som är glesa och binära och därmed undvika behovet av komplicerade belöning ingenjörskonst. Den kan kombineras med en godtycklig RL-algoritm och kan ses som en form av implicit läroplan. Vi visar vår inställning till uppgiften att manipulera föremål med en robotarm. I synnerhet kör vi experiment på tre olika uppgifter: skjuta, glida, och pick-and-place, i varje fall med hjälp av endast binära belöningar som anger om uppgiften är klar eller inte. Våra ablationsstudier visar att Hindsight Experience Replay är en viktig ingrediens som möjliggör träning i dessa utmanande miljöer. Vi visar att våra policyer som är tränade i en fysiksimulering kan användas på en fysisk robot och framgångsrikt slutföra uppgiften. Videon som presenterar våra experiment finns på https
På samma sätt som efterhand erfarenhet replay REF, vår strategi prover mål säger från tidigare erfarenheter.
Hindsight Experience Replay
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}