Detta papper undersöker problemet med bild-caption hämtning med hjälp av gemensamma visualsemantiska inbäddningar. Vi introducerar en mycket enkel förändring av förlustfunktionen som används i den ursprungliga formuleringen av Kiros et al. (2014), vilket leder till drastiska förbättringar i hämtningen prestanda. I det ursprungliga dokumentet används särskilt den rankningsförlust som beräknar summan av överträdelser i de negativa utbildningsexempelen. I stället straffar vi modellen enligt de hårdaste negativa exemplen. Vi gör sedan flera ytterligare ändringar enligt nuvarande bästa praxis i bild-caption hämtning. Vi visar upp vår modell på MS-COCO och Flickr30K dataset genom jämförelser och ablationsstudier. På MS-COCO förbättrar vi bildtextsökningen med 21% i R@1 med avseende på den ursprungliga formuleringen. Våra resultat överträffar de senaste resultaten med 8,8 % i bildåterhämtning och 11,3 % i bildsökning på R@1. På Flickr30K, vi mer än dubbel R@1 som rapporterats av Kiros et al. (2014) i både bild- och bildåterhämtning och uppnå en toppmodern prestanda. Vi visar vidare att liknande förbättringar även gäller order-inbäddningar av Vendrov et al. (2015) som bygger på en liknande förlustfunktion.
Nyligen, Faghri et al. REF förbättrade Kiros arbete genom att ersätta de totala överträdelserna i de negativa proverna med de hårdast negativa proverna.
VSE++: Improved Visual-Semantic Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}