Abstract-This paper presents INGRESS, ett robotsystem som följer instruktioner om mänskligt naturligt språk för att välja och placera vardagliga objekt. Kärnfrågan här är grundandet av hänvisningsuttryck: sluta objekt och deras relationer från inmatningsbilder och språkuttryck. INGRESS möjliggör okonstruerade objektkategorier och okonstruerade språkuttryck. Vidare ställs frågor för att på ett interaktivt sätt disambiguera hänvisningar till uttryck. För att uppnå dessa tar vi utgångspunkten för varje generation och föreslår en tvåstegsmodell för neurala nätverk för jordning. Det första steget använder ett neuralt nätverk för att generera visuella beskrivningar av objekt, jämför dem med inmatningsspråket uttryck, och identifierar en uppsättning kandidatobjekt. Det andra steget använder ett annat neuralt nätverk för att undersöka alla parvisa relationer mellan kandidaterna och sluter sig till det mest sannolika refererade objektet. Samma neurala nätverk används för både jordning och frågegenerering för disambigering. Experiment visar att INGRESS överträffade en toppmodern metod på RefCOCO-datauppsättningen och i robotexperiment med människor.
På samma sätt tog REF itu med samma typ av problem med hjälp av en tvåstegsmodell för att förutsäga det sannolika målet från språkuttrycket och de parvisa sambanden mellan olika målkandidater.
Interactive Visual Grounding of Referring Expressions for Human-Robot Interaction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Engineering']}