Vi föreslår att direkt kartlägga råa visuella observationer och textindata till åtgärder för instruktionsutförande. Medan befintliga metoder förutsätter tillgång till strukturerade miljörepresentationer eller använder en pipeline av separat utbildade modeller, lär vi oss en enda modell för att gemensamt resonera om språklig och visuell input. Vi använder förstärkning lärande i en kontextuell bandit inställning för att träna en neural nätverk agent. För att vägleda agentens utforskning använder vi belöningsformning med olika former av tillsyn. Vårt tillvägagångssätt kräver inga mellanliggande representationer, planeringsförfaranden eller utbildning av olika modeller. Vi utvärderar i en simulerad miljö, och visar betydande förbättringar jämfört med övervakat lärande och gemensamma förstärkande inlärningsvarianter.
På senare tid har REF föreslagit en neural arkitektur för att gemensamt kartlägga instruktioner och visuella observationer (pixlar) för åtgärder i miljön.
Mapping Instructions and Visual Observations to Actions with Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}