Bör inte språk- och synfunktioner behandlas lika i vision-språk (VL) uppgifter? Många VL-strategier behandlar språkkomponenten som en eftertanke, med hjälp av enkla språkmodeller som antingen bygger på fasta ord inbäddningar tränas på text-endast data eller lärs från grunden. Vi anser att språkfunktioner förtjänar mer uppmärksamhet, och utför experiment som jämför olika ord inbäddningar, språkmodeller, och inbädda förstärkning steg på fem gemensamma VL uppgifter: bild-sentence hämtning, bildtext, visuell frågesvar, fras grundläggning, och text-till-klipp hämtning. Våra experiment ger några slående resultat; en genomsnittlig inbäddning språkmodell överträffar en LSTM på hämtning-stil uppgifter; state-of-the-art representationer som BERT utför relativt dåligt på vision-språk uppgifter. Av denna omfattande uppsättning experiment föreslår vi en uppsättning bästa metoder för att införliva språkkomponenten i VL-uppgifter. För att ytterligare höja språkegenskaperna visar vi också att kunskap i synspråksproblem kan överföras över uppgifter för att uppnå prestanda med multi-task utbildning. Denna multi-task utbildning tillämpas på en ny Graph Oriented Vision-Language Embedding (GROVLE), som vi anpassar från Word2Vec med WordNet och en original grafik-språk graf byggd från Visual Genome, vilket ger en färdig att använda vision-språk inbäddning: http://ai.bu.edu/grovle.
Burns m.fl. REF utförde experiment där man jämförde olika ordinslag, språkmodeller och inbäddade förstärkningssteg på fem multimodala uppgifter: bildåterhämtning, bildtextning, visuellt svar på frågor, frasbaserad och text-till-klipp-hämtning.
Language Features Matter: Effective Language Representations for Vision-Language Tasks
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}