Moderna Visual Question Answering (VQA) modeller har visat sig vara starkt beroende av ytliga samband mellan frågor och svar ord inlärda under träning - t.ex. Överskuggande rapporterar vilken typ av rum som kök eller sport som spelas som tennis, oavsett bild. Mest oroväckande är denna brist ofta inte väl återspeglas under utvärderingen eftersom samma starka tidigare finns i testdistributioner, men ett VQA-system som misslyckas med att mala frågor i bildinnehåll skulle sannolikt prestera dåligt i verkliga inställningar. I detta arbete presenterar vi ett nytt legaliseringsprogram för VQA som minskar denna effekt. Vi introducerar en frågebaserad modell som tar som indata frågekodningen från VQA-modellen och måste utnyttja språkfördomar för att lyckas. Vi poserar sedan utbildning som ett kontradiktoriskt spel mellan VQA-modellen och denna fråga-bara motståndare-diskutera VQA-modellen från att fånga språkfördomar i sin fråga kodning. Vidare utnyttjar vi denna modell enbart för att uppskatta ökningen av modellens förtroende efter att ha övervägt bilden, som vi uttryckligen maximerar för att uppmuntra visuell grundläggning. Vår strategi är en modell agnostisk utbildningsmetod och enkel att genomföra. Vi visar empiriskt att det kan förbättra prestanda avsevärt på en partisk-känslig uppdelning av VQA dataset för flera basmodeller - att uppnå state-of-the-art på denna uppgift. Vidare, på standard VQA uppgifter, vår strategi visar betydligt mindre nedgång i noggrannhet jämfört med befintliga bias-reducerande VQA-modeller.
I uppföljningsarbetet, Ramakrishnan m.fl. REF introducerar en kontradiktorisk regulariseringsteknik för att minska fördomar i VQA-modeller som är modellagnostiker - sätta modellen mot en frågeställare.
Overcoming Language Priors in Visual Question Answering with Adversarial Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}