Abstrakt. Människor hänvisar till objekt i sina miljöer hela tiden, särskilt i dialog med andra människor. Vi utforskar att generera och förstå naturligt språk hänvisning uttryck för objekt i bilder. I synnerhet fokuserar vi på att införliva bättre mått av visuellt sammanhang i referensuttrycksmodeller och finner att visuell jämförelse med andra objekt i en bild bidrar till att förbättra prestandan avsevärt. Vi utvecklar också metoder för att knyta ihop språkgenerationsprocessen, så att vi tillsammans skapar uttryck för alla objekt i en viss kategori. Utvärdering av tre nya dataset -RefCOCO, RefCOCO+ och RefCOCOg 1, visar fördelarna med våra metoder för både referensuttrycksgenerering och förståelse.
REF undersökte kontextens och den visuella jämförelsen med andra enheters roll vid hänvisning av uttryck.
Modeling Context in Referring Expressions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}