Djupa neurala nätverk fortsätter att avancera state-of-the-art av bildigenkänning uppgifter med olika metoder. Tillämpningen av dessa metoder på multimodalitet är dock fortfarande begränsad. Vi presenterar multimodala Residual Networks (MRN) för multimodalt resterande lärande av visuella svar på frågor, vilket utökar idén om det djupa resterande lärandet. Till skillnad från det djupa återstående lärandet lär sig MRN effektivt den gemensamma representationen från vision och språkinformation. Huvudidén är att använda elementvis multiplikation för de gemensamma restkartläggningar som utnyttjar restinlärningen av uppmärksamhetsmodellerna i de senaste studierna. Olika alternativa modeller som introduceras av multimodalitet utforskas utifrån vår studie. Vi uppnår toppmoderna resultat på Visual QA dataset för både Open-Ended och Multiple-Choice uppgifter. Dessutom introducerar vi en ny metod för att visualisera uppmärksamhetseffekten av de gemensamma representationerna för varje inlärningsblock med hjälp av back-propagation algoritm, även om de visuella funktionerna kollapsar utan rumslig information.
Inspirerad av ResNet, REF föreslagna elementvis multiplikation för de gemensamma restkartläggningar.
Multimodal Residual Learning for Visual QA
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}