Abstrakt. Visuell dialog innebär att svara på en rad frågor som grundar sig på en bild, genom att använda dialoghistorik som sammanhang. Förutom de utmaningar som finns i visuellt svar på frågor (VQA), som kan ses som en runda dialog, visuell dialog omfattar flera fler. Vi fokuserar på ett sådant problem som kallas visuell coreferens resolution som innebär att bestämma vilka ord, typiskt substantiv fraser och pronomen, samrefererar till samma enhet / objekt instans i en bild. Detta är avgörande, särskilt för pronomen (t.ex., "det"), eftersom dialogagenten först måste koppla den till en tidigare coreferens (t.ex., "båt" ), och först då kan lita på visuell grundläggning av coreferensen "båt" att resonera om pronomenet "det". Tidigare arbete (i visuell dialog) modellerar visuell coreferensupplösning antingen (a) implicit via ett minnesnätverk över historik, eller (b) på en grov nivå för hela frågan; och inte uttryckligen på en frasnivå av granularitet. I detta arbete föreslår vi en neural modul nätverk arkitektur för visuell dialog genom att införa två nya moduler-Refer och Exclude-som utför explicit, jordad, coreferens upplösning på en finare ordnivå. Vi demonstrerar effektiviteten av vår modell på MNIST Dialog, en visuellt enkel men ändå samreferensmässigt komplex datauppsättning, genom att uppnå nästan perfekt noggrannhet, och på VisDial, en stor och utmanande visuell dialog datauppsättning på verkliga bilder, där vår modell överträffar andra metoder, och är mer tolkningsbar, jordad och konsekvent kvalitativt.
Kottur m.fl. REF använde även neurala modulnätverk för att hantera visuell co-referensupplösning i visuell dialogruta.
Visual Coreference Resolution in Visual Dialog using Neural Module Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}