Navigering som leds av instruktioner i naturligt språk utgör ett svårt resonemangsproblem för dem som följer undervisningen. Naturliga språk instruktioner identifierar vanligtvis bara ett fåtal beslut på hög nivå och landmärken snarare än fullständig låg nivå motoriska beteenden; mycket av den saknade informationen måste härledas baserat på perceptuella sammanhang. I maskininlärningsinställningar är detta dubbelt utmanande: det är svårt att samla in tillräckligt med kommenterade data för att göra det möjligt att lära av denna resonemangsprocess från grunden, och också svårt att genomföra resonemangsprocessen med hjälp av generiska sekvensmodeller. Här beskriver vi ett förhållningssätt till visions- och språknavigering som tar upp båda dessa frågor med en inbyggd högtalarmodell. Vi använder denna högtalarmodell för att (1) syntetisera nya instruktioner för dataförstärkning och (2) genomföra pragmatiska resonemang, som utvärderar hur väl kandidat handlingssekvenser förklarar en instruktion. Båda stegen stöds av en panoramahandling utrymme som återspeglar granulariteten av mänskliga-genererade instruktioner. Experiment visar att alla tre komponenterna i denna metod-högtalar-driven dataförstärkning, pragmatiska resonemang och panorama åtgärder utrymme-dramatiskt förbättra prestandan för en baslinje instruktion följare, mer än fördubblar framgångsgraden jämfört med den bästa befintliga metoden på ett standardriktmärke.
I REF en panorama handling utrymme och en 2 Bland alla offentliga resultat vid tidpunkten för denna inlämning.
Speaker-Follower Models for Vision-and-Language Navigation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}