Bilder är inte bara uppsättningar av objekt: varje bild representerar ett nät av sammankopplade relationer. Dessa relationer mellan entiteter har semantisk betydelse och hjälper en betraktare att skilja mellan fall av en varelse. Till exempel, i en bild av en fotbollsmatch kan det finnas flera personer närvarande, men var och en deltar i olika relationer: en sparkar bollen, och den andra vaktar målet. I detta dokument formulerar vi uppgiften att utnyttja dessa "avseende relationer" för att disambiguera mellan enheter av samma kategori. Vi introducerar en iterativ modell som lokaliserar de två enheterna i det hänförande förhållandet, beroende på varandra. Vi formulerar det cykliska tillståndet mellan enheterna i ett förhållande genom att modellera predikat som förbinder enheterna som skiftar i uppmärksamhet från en enhet till en annan. Vi visar att vår modell inte bara kan överträffa befintliga metoder på tre datauppsättningar -CLEVR, VRD och Visual Genome - utan också att den producerar visuellt meningsfulla predikatskiftningar, som ett exempel på tolkningsbara neurala nätverk. Slutligen visar vi att genom att modellera predikerar som uppmärksamhet skiftar, kan vi även lokalisera enheter i avsaknad av deras kategori, vilket gör att vår modell att hitta helt osynliga kategorier.
Nyligen införde REF en explicit iterativ modell som lokaliserar de två enheterna i den refererande relationen uppgift, beroende på varandra med hjälp av uppmärksamhet från en enhet till en annan.
Referring Relationships
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}