Den komplexa sammansättningen av språket gör problem i skärningspunkten mellan vision och språk utmanande. Men språket ger också en stark föregångare som kan resultera i bra ytlig prestanda, utan att de underliggande modellerna verkligen förstår det visuella innehållet. Detta kan hindra framsteg när det gäller att driva på den senaste tekniken när det gäller datorseendet av multimodal AI. I den här artikeln tar vi upp binära Visual Question Answering (VQA) på abstrakta scener. Vi formulerar detta problem som visuell verifiering av begrepp som ställs i frågorna. Specifikt konverterar vi frågan till en tuple som koncist sammanfattar det visuella koncept som ska upptäckas i bilden. Om begreppet finns i bilden, svaret på frågan är "ja", och annars "nej". Abstrakta scener spelar två roller (1) De gör det möjligt för oss att fokusera på högnivåsemantiken i VQA-uppgiften i motsats till problemen med låg nivå igenkännande, och kanske ännu viktigare, (2) De ger oss modaliteten att balansera datauppsättningen så att språk priors kontrolleras, och rollen av vision är avgörande. I synnerhet samlar vi finkorniga par scener för varje fråga, så att svaret på frågan är "ja" för en scen, och "nej" för den andra för exakt samma fråga. I själva verket, språk tidigare inte presterar bättre än chans på vår balanserade dataset. Dessutom överensstämmer vårt föreslagna tillvägagångssätt med resultatet av en toppmodern VQA-strategi för obalanserade data, och överträffar den i den balanserade datauppsättningen.
Zhang m.fl. REF balanserar data för ja/nej frågor på abstrakta scener.
Yin and Yang: Balancing and Answering Binary Visual Questions
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}