En viktig komponent för att möjliggöra intelligent resonemang i delvis observerbara miljöer är minnet. Trots denna betydelse har DRL-agenter hittills använt relativt enkla minnesarkitekturer, där huvudmetoderna för att övervinna partiell observabilitet antingen är en temporal konvolution över de tidigare k-ramarna eller ett LSTM-skikt. Senare arbete (Oh et al., 2016) har gått längre än dessa arkitekturer genom att använda minnesnätverk som kan tillåta mer sofistikerade adresser över tidigare k-ramar. Men även dessa arkitekturer är otillfredsställande på grund av att de är begränsade till att bara komma ihåg information från de sista k-ramarna. I den här artikeln utvecklar vi ett minnessystem med en anpassningsbar skrivoperatör som är anpassad till de typer av 3D-miljöer som DRL-agenter vanligtvis interagerar med. Denna arkitektur, som kallas Neural Map, använder en rumsligt strukturerad 2D-minnesavbildning för att lära sig lagra godtycklig information om miljön under långa tidsfördröjningar. Vi visar empiriskt att Neural Map överträffar tidigare DRL-minnen på en uppsättning utmanande 2D- och 3D-labyrintmiljöer och visar att den kan generalisera till miljöer som inte sågs under träningen.
Neural Map i REF är en skrivbar strukturerad 2D extern minneskarta för en agent att lära sig navigera i 2D- och 3D-labyrintmiljöer.
Neural Map: Structured Memory for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}