Det antas ofta att språket hänvisar till visuella koncept på hög nivå samtidigt som den visuella bearbetningen på låg nivå inte påverkas. Denna vy dominerar den nuvarande litteraturen i beräkningsmodeller för språkvisionsuppgifter, där visuell och språklig input huvudsakligen bearbetas självständigt innan den sammansmälts till en enda representation. I detta dokument avviker vi från denna klassiska pipeline och föreslår att modulera hela den visuella bearbetningen genom språklig inmatning. Specifikt, vi villkorar batch normalisering parametrar för en pretränad restnät (ResNet) på ett språk inbäddning. Detta tillvägagångssätt, som vi kallar MODulated RESnet (MORES), förbättrar avsevärt de starka baslinjerna för två visuella svarsuppgifter. Vår ablation studie visar att modulering från de tidiga stadierna av den visuella bearbetningen är fördelaktigt. Vi visar slutligen att ResNet image funktioner är effektivt jordade. * De två första författarna bidrog lika mycket † Nu på Criteo
I REF används språket för att modulera medelvärdet och variansparametrarna för Batch Normalization-lagren i det visuella CNN.
Modulating early visual processing by language
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}