Medan modeller för visuell frågesvar (VQA) har stadigt förbättrats genom åren, interagerar med en snabbt visar att dessa modeller saknar konsekvens. Till exempel, om en modell svarar "röd" på "Vilken färg är ballongen?"kan det svara "nej" om man frågar: "Är ballongen röd?". Dessa svar bryter mot enkla begrepp om inblandning och väcker frågor om hur effektivt VQA modeller grundspråk. I detta arbete introducerar vi ett dataset, ConVQA och mätvärden som möjliggör kvantitativ utvärdering av överensstämmelse i VQA. För ett givet observerbart faktum i en bild (t.ex. ballongens färg), genererar vi en uppsättning logiskt konsekventa frågesvar (QA) par (t.ex. Är ballongen röd?) och även samla en humanannoterad uppsättning av common-sense baserade konsekvent QA par (t.ex. Är ballongen samma färg som tomatsås?). Vidare föreslår vi en konsekvent förbättring av dataförstärkningsmodulen, en konsekvent lärarmodul (CTM). CTM genererar automatiskt komplicerade (eller liknande) frågor för en källa QA-par och finjusterar VQA-modellen om VQA:s svar på den berörda frågan överensstämmer med källan QA-paret. Vi visar att vår CTM-baserade utbildning förbättrar konsekvensen i VQA-modellerna på Con-VQA-dataseten och är en stark baslinje för fortsatt forskning.
REF föreslår en dataförstärkningsmodul som automatiskt genererar aktuella (eller liknande) frågor för en källa QA-par och finjusterar VQA-modellen om VQA:s svar på den berörda frågan är förenligt med källkoden QA-paret.
Sunny and Dark Outside?! Improving Answer Consistency in VQA through Entailed Question Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}