Syn- och språkresonemang kräver förståelse för visuella begrepp, språksemantik och, viktigast av allt, anpassning och samband mellan dessa två metoder. Vi föreslår därför LXMERT (Learning Cross-Modality Encoder Representations from Transformers) ramverket för att lära sig dessa vision-och-språkkopplingar. I LXMERT bygger vi en storskalig Transformer-modell som består av tre kodare: en objektrelationskodare, en språkkodare och en cross-modality kodare. Därefter, för att förse vår modell med förmågan att ansluta vision och språksemantik, pre-trainear vi modellen med stora mängder av bild-och-sentens par, via fem olika representativa pre-utbildningsuppgifter: maskerad språkmodellering, maskerad objektförutsägelse (feature regression och etikettklassificering), cross-modality matchning, och bildfråga svar. Dessa uppgifter hjälper till att lära sig både intramodalitets- och korsmodalitetsrelationer. Efter finjustering från våra förtränade parametrar uppnår vår modell de senaste resultaten på två visuella frågeset (dvs. VQA och GQA). Vi visar också att vår förtränade cross-modalitetsmodell är generell genom att anpassa den till en utmanande visuell motivering, NLVR 2, och förbättra det tidigare bästa resultatet med 22 % absolut (54 % till 76 %). Slutligen visar vi på detaljerade ablationsstudier för att visa att både våra nya modellkomponenter och förutbildningsstrategier på ett betydande sätt bidrar till våra starka resultat.
LXMERT REF, en storskalig förtränad kodare, har också testats på denna datauppsättning.
LXMERT: Learning Cross-Modality Encoder Representations from Transformers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}