Sammanfattning Detta dokument föreslår en metod för att lära gemensamma inbäddningar av bilder och text med hjälp av en tvågrenig neurala nätverk med flera lager av linjära projektioner följt av icke-linjäriteter. Nätverket utbildas med hjälp av ett stort marginalmål som kombinerar cross-view ranking begränsningar med inom synhåll område struktur bevarande begränsningar inspirerad av metrisk inlärning litteratur. Omfattande experiment visar att vårt tillvägagångssätt får betydande förbättringar i noggrannheten för bild-till-text och text-till-bild hämtning. Vår metod uppnår nya state-of-theart resultat på Flickr30K och MSCOCO image-sentence dataset och visar löfte om den nya uppgiften att fras lokalisering på Flickr30K enheter dataset.
Efter det, Deep Structure-Preserving (DeepSP) REF föreslås för bild-text inbäddning, som kombinerar korsvisa rankning begränsningar med inom syn område strukturbevarande.
Learning Deep Structure-Preserving Image-Text Embeddings
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}