Medan de flesta automatiska bildanmärkningsmetoder enbart bygger på visuella funktioner, överväger vi att integrera ytterligare information i en enhetlig inbäddning bestående av visuell och textbaserad information. Vi föreslår ett tillvägagångssätt baserat på Kernel Canonical Correlation Analysis, som bygger en latent semantisk utrymme där korrelation av visuella och textmässiga funktioner är väl bevarade i en semantisk inbäddning. Bilder i det semantiska utrymmet har minskat semantiska gapet och därmed är det troligt att de ger bättre kommenterande prestanda. Det föreslagna tillvägagångssättet är robust och kan fungera antingen när utbildningen är väl kommenterad av experter, liksom när det är bullriga som i fallet med användargenererade taggar i sociala medier. Vi utvärderar vårt ramverk på fyra populära dataset. Våra resultat visar att vår KCCA-baserade metod kan tillämpas på flera toppmoderna överföringsmetoder för att uppnå betydande förbättringar. I synnerhet får närmaste granne metoder för etikettöverföring mest nytta och gör det möjligt för oss att skala på aldrig sett etiketter vid träningstid. Vårt tillvägagångssätt fungerar även med de bullriga taggar av sociala användare, förutsatt att lämplig denoisering utförs. Experiment i stor skala visar att vår metod kan ge vissa fördelar även när det semantiska utrymmet uppskattas på en delmängd av träningsbilder.
I REF ) föreslås en förökningsram baserad på Kernel Canonical korrelationsanalys.
Automatic Image Annotation via Label Transfer in the Semantic Space
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}