Vi föreslår en metod som kan generera en entydig beskrivning (känd som ett refererande uttryck) av ett visst objekt eller område i en bild, och som också kan förstå eller tolka ett sådant uttryck för att dra slutsatsen vilket objekt som beskrivs. Vi visar att vår metod överträffar tidigare metoder som genererar beskrivningar av objekt utan att ta hänsyn till andra potentiellt tvetydiga objekt i scenen. Vår modell är inspirerad av de senaste framgångarna med djupt lärande metoder för bildtextning, men samtidigt som bildtext är svårt att utvärdera, vår uppgift möjliggör enkel objektiv utvärdering. Vi presenterar också en ny storskalig datauppsättning för referensuttryck, baserad på MS-COCO. Vi har släppt datasetet och en verktygslåda för visualisering och utvärdering, se https://github.com/ mjhucla/Google_Refexp_toolbox.
En sådan omvänd uppgift att disambiguera mellan olika regioner i en bild har studerats under uppgiften att hänvisa uttryckförståelse REF.
Generation and Comprehension of Unambiguous Object Descriptions
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}