En del av överklagandet av Visual Question Answering (VQA) är dess löfte att svara på nya frågor om tidigare osedda bilder. De flesta nuvarande metoder kräver utbildningsfrågor som illustrerar alla möjliga koncept, och kommer därför aldrig att uppnå denna kapacitet, eftersom volymen av nödvändiga träningsdata skulle vara oöverkomlig. Svar på allmänna frågor om bilder kräver metoder som är kapabla till Zero-Shot VQA, det vill säga metoder som kan svara på frågor utöver utbildningsfrågorna. Vi föreslår ett nytt utvärderingsprotokoll för VQA-metoder som mäter deras förmåga att utföra Zero-Shot VQA, och därmed belyser betydande praktiska brister i nuvarande metoder, varav några maskeras av fördomarna i nuvarande datauppsättningar. Vi föreslår och utvärderar flera strategier för att uppnå Zero-Shot VQA, inklusive metoder baserade på förtränade ord inbäddningar, objekt klassificerare med semantiska inbäddningar, och test-tid hämtning av exempelbilder. Våra omfattande experiment är avsedda att fungera som baslinjer för Zero-Shot VQA, och de uppnår också toppmoderna prestanda i den vanliga VQA-utvärderingen.
Noll-shot VQA har också undersökts i REF.
Zero-Shot Visual Question Answering
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}