Exploration bonus som härrör från nya stater i en miljö har blivit en populär strategi för att motivera prospektering för djupt förstärkande lärande agenter under de senaste åren. Nya metoder som nyfikenhetsdriven undersökning brukar uppskatta nya observationer genom förutsägelser fel i deras systemdynamik modeller. På grund av kapacitetsbegränsningen i modellerna och svårigheten att utföra nästaframe förutsägelse, misslyckas dock dessa metoder vanligtvis med att balansera mellan prospektering och utnyttjande i högdimensionella observationsuppgifter, vilket resulterar i att agenterna glömmer de besökta vägarna och utforskar dessa stater upprepade gånger. Sådana ineffektiva prospekteringsbeteenden orsakar betydande prestandadroppar, särskilt i stora miljöer med glesa belöningssignaler. I detta dokument föreslår vi att man inför begreppet optisk flödesuppskattning från området datorseende för att ta itu med ovanstående fråga. Vi föreslår att använda optisk flödesuppskattning fel för att undersöka nyheten med nya observationer, så att agenter kan memorera och förstå de besökta staterna på ett mer omfattande sätt. Vi jämför vår metod med de tidigare tillvägagångssätten i ett antal experimentella experiment. Våra resultat visar att den föreslagna metoden verkar leverera överlägsen och långvarig prestanda än de tidigare metoderna. Vi tillhandahåller också en uppsättning omfattande analys av den föreslagna metoden och undersöker effekten av optisk flödesuppskattning på DRL-agenternas inlärningskurvor.
Bland alla arbeten relaterade till detta problem citerar vi REF: en ny och intressant strategi som försöker balansera mellan prospektering och utnyttjande genom att använda optiska flödesuppskattningsfel för att undersöka nya observationers nyhet och leverera permanenta prestanda utan att stöta på katastrofala problem med glömska.
Never Forget: Balancing Exploration and Exploitation via Learning Optical Flow
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}