Vi föreslår en ny diskriminerande modell som lär sig inbäddningar från flerspråkiga och multimodala data, vilket innebär att vår modell kan dra nytta av bilder och beskrivningar på flera språk för att förbättra inbäddningskvaliteten. I detta syfte inför vi en ändring av en parvis kontrastrand estimeringsoptimeringsfunktion som vårt träningsmål. Vi utvärderar våra inbäddningar på en bild-sentence ranking (ISR), en semantisk textlikhet (STS), och en neural maskinöversättning (NMT) uppgift. Vi finner att de ytterligare flerspråkiga signalerna leder till förbättringar av både ISR- och STS-uppgifter, och den diskriminerande kostnaden kan också användas för att omvärdera n-bästa listor som produceras av NMT-modeller, vilket ger starka förbättringar.
REF ) lära sig ett multimodalt flerspråkigt delat utrymme genom optimering av en modifierad parvis kontrasterande funktion, där den extra flerspråkiga signalen i det delade utrymmet leder till förbättringar i bild-sentence ranking och semantisk textlikhet uppgift.
Multilingual Multi-modal Embeddings for Natural Language Processing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}