Vi föreslår en målstyrd webbnavigering som ett riktmärke för att utvärdera en agent med förmåga att förstå naturligt språk och planera för delvis observerade miljöer. I denna utmanande uppgift navigerar en agent genom en webbplats, som representeras som en graf bestående av webbsidor som noder och hyperlänkar som riktade kanter, för att hitta en webbsida där en fråga visas. Agenten är skyldig att ha sofistikerade hög nivå resonemang baserat på naturliga språk och effektiv sekventiell beslutsfattande förmåga att lyckas. Vi släpper ett programvaruverktyg, WebNav, som automatiskt omvandlar en webbplats till denna måldrivna webbnavigeringsuppgift, och som ett exempel, gör vi WikiNav, ett dataset konstruerat från den engelska Wikipedia som innehåller cirka 5 miljoner artiklar och mer än 12 miljoner frågor för utbildning. Vi utvärderar två olika agenter baserade på neurala nätverk på WikiNav och ger den mänskliga prestandan. Våra resultat visar svårigheten med uppgiften för både människor och maskiner. Med detta riktmärke förväntar vi oss snabbare framsteg med att utveckla artificiella agenter med kunskaper i naturligt språk och planering.
REF har också föreslagit en målstyrd webbnavigeringsuppgift för språkbaserat sekventiellt beslutsfattande.
WebNav: A New Large-Scale Task for Natural Language based Sequential Decision Making
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}