I detta dokument undersöks problemet med att modellera Internet-avbildningar och tillhörande text eller taggar för uppgifter som bild-till-bild-sökning, tag-till-bild-sökning och bild-tagg-sökning (bild-notering). Vi börjar med kanonisk korrelationsanalys (CCA), en populär och framgångsrik metod för att kartlägga visuella och textmässiga funktioner till samma latenta utrymme, och införliva en tredje vy fånga hög nivå bild semantik, representeras antingen av en enda kategori eller flera icke-ömsesidigt-exklusiva begrepp. Vi presenterar två sätt att träna in tre-vyn inbäddning: övervakad, med den tredje vy kommer från mark-truth etiketter eller sökord, och oövervakad, med semantiska teman automatiskt erhållits genom att klustra taggarna. För att säkerställa hög noggrannhet för hämtningsuppgifter samtidigt som inlärningsprocessen hålls skalbar kombinerar vi flera starka visuella funktioner och använder explicita ickelinjära kärnkartläggningar för att effektivt approximera kärnan CCA. För att utföra hämtning använder vi en speciellt utformad likhetsfunktion i det inbäddade utrymmet, vilket avsevärt överträffar Euclideans avstånd. Det resulterande systemet ger övertygande kvalitativa resultat och överträffar ett antal två-visa baslinjer för hämtningsuppgifter på tre storskaliga Internet-bilddataset.
I REF föreslog författarna kanonisk korrelering-analys (CCA) för att lära sig ett gemensamt latent utrymme för gemensam kartläggning av visuella egenskaper och etiketter.
A Multi-View Embedding Space for Modeling Internet Images, Tags, and Their Semantics
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}