Visuell fråga svar är i grunden komposition i naturen-en fråga som var är hunden? delar understruktur med frågor som vilken färg är hunden? Och var är katten? Syftet med detta dokument är att samtidigt utnyttja de djupa nätverkens representationskapacitet och frågornas språkliga struktur. Vi beskriver ett förfarande för att bygga och lära neurala modulnätverk, som utgör samlingar av gemensamt utbildade neurala "moduler" i djupa nätverk för frågesvar. Vårt tillvägagångssätt bryter ner frågor i deras språkliga understrukturer, och använder dessa strukturer för att dynamiskt ögonblickliga modulära nätverk (med återanvändbara komponenter för att känna igen hundar, klassificera färger, etc.). De sammanslagna nätverken utbildas gemensamt. Vi utvärderar vårt förhållningssätt till två utmanande dataset för visuellt svar på frågor och uppnår toppmoderna resultat på både VQA:s naturliga bilddataset och en ny dataset med komplexa frågor om abstrakta former.
REF utgör samlingar av gemensamt utbildade neurala moduler i djupa nätverk för frågesvar genom att dekomponera frågorna i sina språkliga understrukturer och använda dessa strukturer för att dynamiskt ögonblickliga modulära nätverk med återanvändbara komponenter.
Deep Compositional Question Answering with Neural Module Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}