För att utföra uppgifter som anges i instruktioner i naturligt språk, autonoma agenter måste extrahera semantiskt meningsfulla representationer av språket och kartlägga det till visuella element och åtgärder i miljön. Detta problem kallas för uppgiftsorienterad språkbaserad grundläggning. Vi föreslår en end-to-end trainingable neural arkitektur för uppgiftsorienterad språk grundläggning i 3D-miljöer som förutsätter inga tidigare språkliga eller perceptuella kunskaper och kräver endast rå pixlar från miljön och den naturliga språkundervisningen som ingång. Den föreslagna modellen kombinerar bild och text representationer med hjälp av en Gated-Attention mekanism och lär sig en politik för att utföra den naturliga språkundervisningen med hjälp av standard förstärkning och imitation inlärningsmetoder. Vi visar hur effektiv den föreslagna modellen är på osynliga instruktioner och på osynliga kartor, både kvantitativt och kvalitativt. Vi introducerar också en ny miljö baserad på en 3D spelmotor för att simulera utmaningarna med uppgiftsorienterade språk grundläggning över en rik uppsättning av instruktioner och miljötillstånd.
Vårt arbete bygger på REF ) som föreslog en gated-attention arkitektur för att kombinera språket och bildfunktioner för att lära sig en policy som utför skriftlig undervisning i en 3D-miljö.
Gated-Attention Architectures for Task-Oriented Language Grounding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}