Visuell dialog är en uppgift att svara på en rad frågor som är beroende av varandra med tanke på en inmatningsbild, och kräver ofta att man löser visuella referenser bland frågorna. Detta problem skiljer sig från visuellt svar på frågor (VQA), som bygger på rumslig uppmärksamhet (alias. visuell jordning) beräknad utifrån en bild och ett frågepar. Vi föreslår en ny uppmärksamhetsmekanism som utnyttjar visuell uppmärksamhet i det förflutna för att lösa den nuvarande referensen i det visuella dialogscenariot. Den föreslagna modellen är utrustad med ett associativt uppmärksamhetsminne som lagrar en sekvens av tidigare (attention, nyckel) par. Ur detta minne hämtar modellen tidigare uppmärksamhet, med hänsyn till sannolikheten, som är mest relevant för den aktuella frågan, för att lösa potentiellt tvetydiga referenser. Modellen förenar sedan den återvunna uppmärksamheten med den trevande för att få den slutliga uppmärksamheten för den aktuella frågan; specifikt använder vi dynamiska parameterförutsägelser för att kombinera de två uppmärksamheten som är beroende av frågan. Genom omfattande experiment på en ny syntetisk bilddialogruta visar vi att vår modell avsevärt överträffar den senaste tekniken (med 16 procentenheter) i den situation där den visuella referensupplösningen spelar en viktig roll. Den föreslagna modellen ger dessutom bättre prestanda (en förbättring på 2 procentenheter) i Visual Dialog Dataset [1], trots att den har betydligt färre parametrar än utgångsvärdena. På senare tid har Visual Dialog [1] introducerats som en generalisering av VQA-uppgiften. Till skillnad från VQA, där varje fråga ställs självständigt, måste ett visuellt dialogsystem svara på en sekvens av frågor om en inmatningsbild. Den sekventiella och ömsesidigt beroende egenskapen hos frågor i en dialogruta innebär ytterligare utmaningar. Betrakta den enkla bilden och deldialogrutan i figur 1. Några frågor (t.ex. #1: "Hur många nior finns det i bilden?") innehålla den fullständiga information som behövs för att ta hand om regionerna inom bilden och besvara frågan på ett korrekt sätt. Andra frågor (t.ex. #6: "Vad är numret på den blå siffran?") är tvetydiga på egen hand och kräver kunskap från de tidigare frågorna (1, 2, 3 och 5 i synnerhet) för att lösa frågan om den specifika regionen 31:a
REF löser visuella referenser i frågan baserat på en ny uppmärksamhetsmekanism med ett uppmärksamhetsminne, och modellen löser indirekt samreferenser av uttryck genom uppmärksamhetshämtningsprocessen.
Visual Reference Resolution using Attention Memory for Visual Dialog
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}