Abstrakt. Befintliga forskningsstudier om vision och språkgrundning för robotnavigering fokuserar på att förbättra modeller för djupt förstärkande lärande (DRL) i syntetiska miljöer. Modellfria DRL-modeller tar dock inte hänsyn till dynamiken i de verkliga miljöerna, och de misslyckas ofta med att generalisera till nya scener. I detta dokument, vi tar en radikal strategi för att överbrygga klyftan mellan syntetiska studier och verkliga praxis-Vi föreslår en ny, planerad hybrid förstärkning lärande modell som kombinerar modellfri och modellbaserad förstärkning lärande för att lösa en verklig vision-språk navigering. Vår look-ahead modul integrerar tätt en look-ahead policy modell med en miljömodell som förutspår nästa tillstånd och belöning. Experimentella resultat tyder på att vår föreslagna metod avsevärt överträffar baslinjerna och uppnår det bästa på den verkliga Room-toRum datasetet. Dessutom är vår skalbara metod mer allmängiltig när den överförs till osedda miljöer.
REF använder modellbaserat och modellfritt förstärkande lärande för att lära sig en miljömodell och optimera direkt för navigeringsframgång.
Look Before You Leap: Bridging Model-Free and Model-Based Reinforcement Learning for Planned-Ahead Vision-and-Language Navigation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}