Uppgiften Vision-och-Språknavigering (VLN) innebär en agent som följer navigeringsinstruktioner i fotorealistiska okända miljöer. Denna utmanande uppgift kräver att agenten är medveten om vilken instruktion som har genomförts, vilken instruktion som behövs härnäst, vilken väg att gå och vilken navigering som går mot målet. I detta papper introducerar vi en självövervakande agent med två kompletterande komponenter: (1) visuell-textuell co-grounding modul för att lokalisera den instruktion som gjorts tidigare, den instruktion som krävs för nästa åtgärd, och nästa rörelseriktning från omgivande bilder och (2) framsteg övervaka för att säkerställa att den jordade instruktionen korrekt återspeglar navigeringen framsteg. Vi testar vårt självövervakande medel på ett standardriktmärke och analyserar vårt föreslagna tillvägagångssätt genom en serie ablationsstudier som belyser de primära komponenternas bidrag. Med hjälp av vår föreslagna metod sätter vi den nya tekniken med en betydande marginal (8% absolut ökning av framgångsgraden på det osynliga testet). Koden finns på https://github.com/chihyaoma/selfmonitoring-agent.
Nyligen introducerades Self-Monitoring navigation agent som lär sig att uppskatta framsteg som gjorts mot målet med hjälp av visuell och språk co-grounding REF.
Self-Monitoring Navigation Agent via Auxiliary Progress Estimation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}