Vi bygger en virtuell agent för att lära sig språk i en 2D labyrintliknande värld. Agenten ser bilder av omgivningen, lyssnar på en virtuell lärare och vidtar åtgärder för att få belöningar. Den lär sig interaktivt lärarens språk från grunden baserat på två språkbruksfall: meningsstyrd navigering och frågesvar. Den lär sig samtidigt de visuella representationerna av världen, språket och handlingskontrollen. Genom att skilja språkgrunden från andra beräkningsrutiner och dela en konceptdetekteringsfunktion mellan språkbaserad grundläggning och förutsägelse, kopplar agenten på ett tillförlitligt sätt in och extrapolerar för att tolka meningar som innehåller nya ordkombinationer eller nya ord som saknas i träningsmeningar. De nya orden överförs från svaren på språkförutsägelsen. En sådan språkförmåga tränas och utvärderas på en population på över 1,6 miljoner distinkta meningar som består av 119 objektord, 8 färgord, 9 rumsliga-relationsord och 50 grammatiska ord. Den föreslagna modellen överträffar i hög grad fem jämförelsemetoder för tolkning av noll-sprängda meningar. Dessutom visar vi mänskliga-tolkbara mellanutgångar av modellen i tillägget.
REF tar upp problemet med att lära sig språket i en 2D-labyrint, där de kan hantera osynliga ordkombinationer eller nya meningar som innehåller osynliga ord.
Interactive Grounded Language Acquisition and Generalization in a 2D World
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}