En robots förmåga att förstå eller underbygga instruktioner i naturligt språk är i grunden knuten till dess kunskap om omvärlden. Vi presenterar en strategi för att grunda naturliga språk uttalanden i samband med fakta som samlats in genom naturligt språk interaktioner och tidigare visuella observationer. En probabilistisk modell beräknar, från ett naturligt språkuttryck, objekt, relationer och handlingar som uttalandet hänvisar till, målen för framtida robotiska åtgärder som det innebär, och genererar en plan för att genomföra dessa åtgärder samtidigt uppdatera en statlig representation för att inkludera nyförvärvad kunskap från det visuella-lingvistiska sammanhanget. Grunda ett kommando kräver en representation för tidigare observationer och interaktioner; dock, att upprätthålla hela sammanhanget bestående av alla möjliga observerade objekt, attribut, rumsliga relationer, åtgärder, etc., över tiden är oåtkomligt. I stället upprätthåller vår modell, Temporal Grounding Graphs, en inlärd statsrepresentation för en tro på faktagrunder, de som härrör från naturligt språksamverkan, och finner latily ny grund från visuella observationer med hjälp av det sammanhang som underförståtts av uttalandet. Detta arbete utökar avsevärt det språkområde som en robot kan förstå genom att införliva faktakunskaper och observationer av dess arbetsyta i sin slutsats om betydelsen och grunden för uttalanden på naturligt språk.
Paul och Al. REF arbetade med att utöka utrymmet för kommandon som en robot kan förstå.
Temporal Grounding Graphs for Language Understanding with Accrued Visual-Linguistic Context
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}