Vi presenterar en ny teknik för att lära sig visuella-semantiska inbäddningar för cross-modal hämtning. Inspirerad av hård negativ gruvdrift, användning av hårda negativ i strukturerade förutsägelser, och ranking förlustfunktioner, introducerar vi en enkel förändring av vanliga förlustfunktioner som används för multimodala inbäddningar. Detta, i kombination med finjustering och användning av förstärkta data, ger betydande vinster i hämtningsprestanda. Vi visar upp vår strategi, VSE++, om MS-COCO och Flickr30K datauppsättningar, med hjälp av ablationsstudier och jämförelser med befintliga metoder. När det gäller MS-COCO överträffar vår strategi de senaste metoderna med 8,8 % i bildtextsökning och 11,3 % i bildsökning (vid R@1).
Nyligen, Fartash et al. REF införlivar hårda negativa i rankningsförlustfunktionen, vilket ger betydande vinster i hämtningsprestanda.
VSE++: Improving Visual-Semantic Embeddings with Hard Negatives
{'venue': 'BMVC', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}