Abstrakt. Gemensam förståelse för video och språk är ett aktivt forskningsområde med många tillämpningar. Tidigare arbete inom detta område bygger vanligtvis på att lära text-video inbäddningar. En svårighet med detta tillvägagångssätt är dock bristen på storskaliga kommenterade video-caption dataset för utbildning. För att ta itu med denna fråga strävar vi efter att lära oss text-video inbäddningar från heterogena datakällor. I detta syfte föreslår vi en mixing-of-Embedding-Experts (MEE) modell med förmåga att hantera saknade inmatningsmetoder under utbildningen. Som ett resultat av detta kan vårt ramverk lära sig förbättrade text-video-inbäddningar samtidigt från bild- och videodataset. Vi visar också generaliseringen av MEE till andra inmatningsmetoder såsom ansiktsdeskriptorer. Vi utvärderar vår metod på uppgiften videohämtning och rapporterar resultat för MPII Movie Beskrivning och MSR-VTT dataset. Den föreslagna MEE-modellen visar på betydande förbättringar och överträffar tidigare rapporterade metoder för både text-till-video- och video-till-textsökningsuppgifter. Kod: https://github.com/antoine77340/Mixture-of-Embedding-Experts
En uppföljning av detta arbete REF lär sig en blandning av experter inbäddade från flera metoder såsom utseende, rörelse, ljud eller ansiktsfunktioner.
Learning a Text-Video Embedding from Incomplete and Heterogeneous Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}