Visuellt svar på frågor (VQA) är av stort intresse på grund av dess potential att vara ett starkt test av bildförståelsesystem och att undersöka sambandet mellan språk och syn. Trots stora framsteg på senare tid är den allmänna VQA långt ifrån ett löst problem. I detta dokument fokuserar vi på VQA-uppgiften med flera val, och ger en del goda metoder för att utforma en effektiv VQA-modell som kan fånga språkvisionsinteraktioner och utföra gemensamma resonemang. Vi utforskar mekanismer för att införliva del-ofspeech (POS) tagg guidad uppmärksamhet, convolutional n-grams, tredubbla uppmärksamhet interaktioner mellan bilden, fråga och kandidat svar, och strukturerat lärande för tripletter baserat på bildfråga par 1. Vi utvärderar våra modeller på två populära dataset: Visual7W och VQA Real Multiple Choice. Vår slutliga modell uppnår den toppmoderna prestandan på 68,2 % på Visual7W och en mycket konkurrenskraftig prestanda på 69,6 % på teststandarddelningen av VQA Real Multiple Choice.
Wang m.fl. REF utforskar mekanismer för trefaldig uppmärksamhet som interagerar mellan bild, fråga och kandidat svar baserat på bild-fråga par.
Structured Triplet Learning with POS-Tag Guided Attention for Visual Question Answering
{'venue': '2018 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'journal': '2018 IEEE Winter Conference on Applications of Computer Vision (WACV)', 'mag_field_of_study': ['Computer Science']}