En robot som kan utföra en naturlig språkundervisning har varit en dröm sedan innan Jetsons tecknade serien föreställde sig ett liv av fritid medierad av en flotta av uppmärksamma robothjälpare. Det är en dröm som förblir envist avlägsen. Den senaste tidens framsteg när det gäller visioner och språkmetoder har emellertid gjort otroliga framsteg på närbesläktade områden. Detta är viktigt eftersom en robot som tolkar en naturlig språklig navigeringsinstruktioner på grundval av vad den ser utför en vision och språkprocess som liknar Visual Question Answering. Båda uppgifterna kan tolkas som visuellt grundade sekvens-till-sekvens översättningsproblem, och många av samma metoder är tillämpliga. För att möjliggöra och uppmuntra tillämpning av vision och språkmetoder på problemet med att tolka visuellt baserade navigeringsinstruktioner, presenterar vi Matter-port3D Simulator -en storskalig förstärkning inlärningsmiljö baserad på verkliga bilder [11]. Med hjälp av denna simulator, som i framtiden kan stödja en rad förkroppsligade visioner och språkuppgifter, tillhandahåller vi den första referensdatauppsättningen för visuellt förankrad navigering av naturligt språk i verkliga byggnader - Room-to-Room (R2R) datauppsättning 1.
Framsteg i syn- och språknavigering har accelererat med införandet av Roomto-Room (R2R) datauppsättning och tillhörande uppmärksamhet-baserad sekvens-till-sekvens baslinje REF.
Vision-and-Language Navigation: Interpreting Visually-Grounded Navigation Instructions in Real Environments
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}