Visual Question Answering (VQA) är en välkänd och utmanande uppgift som kräver system för att gemensamt resonera om naturligt språk och vision. Djupt lärande modeller i olika former har varit standarden för att lösa VQA. Vissa av dessa VQA-modeller är dock bättre på vissa typer av bildfrågapar än andra modeller. Att använda VQA-modeller på ett intelligent sätt för att utnyttja deras mångsidiga expertis är därför fördelaktigt. Stapling Med hjälpfunktioner (SWAF) är en intelligent ensmällande teknik som lär sig att kombinera resultaten av flera modeller med hjälp av funktioner i det nuvarande problemet som sammanhang. Vi föreslår fyra kategorier av extra funktioner för liknande för VQA. Tre av de fyra kategorierna av funktioner kan härledas från ett bildfrågapar och kräver inte att komponentmodellerna söks. I den fjärde kategorin hjälpfunktioner används modellspecifika förklaringar. I detta dokument beskriver vi hur vi använder dessa olika kategorier av hjälpfunktioner för att förbättra prestandan för VQA. Med hjälp av SWAF för att effektivt ensemble tre senaste system, får vi en ny toppmodern. Vårt arbete lyfter också fram fördelarna med förklarande AI-modeller.
Rajani och Mooney REF utvecklade en ensemble lärande strategi, Stacking Med hjälpfunktioner, som kombinerar resultaten av flera modeller med hjälp av funktioner i problemet som sammanhang.
Stacking with Auxiliary Features for Visual Question Answering