Vi tar en end-to-end, sekvens-to-sequence lärande metod för uppgiften att följa naturligt språk rutt instruktioner, dvs. att kartlägga naturligt språk instruktioner till åtgärder sekvenser. Vår modell är en dubbelriktad, anpassningsbaserad, lång korttidsminne återkommande neurala nätverk (LSTM RNN) som kodar friform navigering instruktion mening och motsvarande representation av miljötillståndet. Vi föreslår en multi-level conjuster som en del av vårt nätverk som ger modellen för att fokusera på framträdande mening "regioner", med hjälp av både hög- och låg nivå input representationer. Denna anpassningsbaserade LSTM avkodar sedan den inlärda representationen för att få den resulterande åtgärdssekvensen. Att lägga till dubbelriktadhet i nätverket hjälper ytterligare. I motsats till befintliga metoder använder vår modell ingen ytterligare information eller resurser om uppgiften eller språket (t.ex. tolkar eller frölexikon) och uppnår fortfarande de bästa resultat som rapporterats hittills på ett riktmärke för en enda deltagare datauppsättning och ger konkurrenskraftiga resultat för den begränsade utbildningen multi-sentence inställning. Vi utvärderar vår modell genom en serie ablationsstudier som belyser bidragen från de primära komponenterna i vår modell.
Mei och Al. I REF föreslogs en sekvens-till-sekvens-modell för att kartlägga språk-till-navigeringsåtgärder.
Listen, Attend, and Walk: Neural Mapping of Navigational Instructions to Action Sequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}