Att hänvisa till objektdetektering och referensbildsegmentering är viktiga uppgifter som kräver gemensam förståelse av visuell information och naturligt språk. Det har dock funnits belägg för att nuvarande referensdatauppsättningar lider av partiskhet, och de nuvarande toppmoderna modellerna kan inte lätt utvärderas med hjälp av deras mellanliggande resonemang. För att ta itu med dessa frågor och komplettera liknande insatser i visuellt frågesvar bygger vi CLEVR-Ref+, ett syntetiskt diagnostiskt dataset för hänvisning till uttrycksförståelse. De exakta platserna och attributen för objekten är lätt tillgängliga, och de refererande uttrycken är automatiskt associerade med funktionella program. Den syntetiska naturen tillåter kontroll över dataset partisk (genom provtagningsstrategi), och de modulära programmen möjliggör mellanliggande resonemang grund sanningen utan mänskliga annoterare. Förutom att utvärdera flera toppmoderna modeller på CLEVR-Ref+ föreslår vi även IEP-Ref, ett modulnätverk som avsevärt överträffar andra modeller på vår datauppsättning. I synnerhet presenterar vi två intressanta och viktiga resultat med hjälp av IEP-Ref: (1) modulen tränas för att omvandla funktionskartor till segmenteringsmasker kan fästas på alla mellanliggande moduler för att avslöja hela resonemangsprocessen steg för steg; (2) även om alla träningsdata har minst ett objekt som anges, kan IEP-Ref korrekt förutsäga ingen förutsägelse när de presenteras med falsk-premiär hänvisningsuttryck. Såvitt vi vet är detta det första direkta och kvantitativa beviset på att neurala moduler beter sig på det sätt de är avsedda. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
(2) CLEVR-Ref+ REF ) är en diagnostisk datauppsättning baserad på CLEVR-bilder för visuellt resonemang i hänvisningsuttryck.
CLEVR-Ref+: Diagnosing Visual Reasoning With Referring Expressions
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}