Under de senaste åren har problemet med att associera en mening med en bild fått mycket uppmärksamhet. Detta arbete fortsätter att trycka på kuvertet och gör ytterligare framsteg i utförandet av bild annotering och bildsökning genom en mening uppgifter. I detta arbete använder vi Fisher Vector som en mening representation genom att samla ordet 2vec inbäddning av varje ord i meningen. Fisher Vector tas vanligtvis som lutningar av log-likelihood av deskriptorer, med avseende på parametrarna för en Gaussian Blandning Modell (GMM). I detta arbete presenterar vi två andra Blandning Modeller och härleda deras Förväntning-Maximering och Fisher Vector uttryck. Den första är en Laplacian Blandning Modell (LMM), som är baserad på Laplacian distribution. Den andra Blandning Modell presenteras är en Hybrid Gaussian-Laplacian Blandning Modell (HGLMM) som är baserad på ett vägt geometriskt medelvärde av Gaussian och Laplacian distribution. Slutligen, genom att använda de nya Fisher Vectors härledda från HGLMMs för att representera meningar, vi uppnå state-of-the-art resultat för både bild annotation och bildsökning genom en mening uppgifter på fyra riktmärken: Pascal1K, Flickr8K, Flickr30K, och COCO.
Den nuvarande modellen med bästa prestanda (med beaktande av både bildanmärkning och bildsökningsuppgifter) är Fisher Vector (FV) REF, även om dess prestanda är mest konkurrenskraftig i bildhämtningsuppgiften.
Associating neural word embeddings with deep image representations using Fisher Vectors
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}