I den här artikeln undersöker vi cross-media hämtning mellan bilder och text, det vill säga med hjälp av bild för att söka text (I2T) och med text för att söka bilder (T2I). Befintliga metoder för hämtning över media lär sig vanligtvis ett par projektioner, genom vilka de ursprungliga egenskaperna hos bilder och text kan projiceras till ett gemensamt latent utrymme för att mäta innehållets likhet. Att använda samma prognoser för de två olika hämtningsuppgifterna (I2T och T2I) kan dock leda till en avvägning mellan deras respektive prestationer snarare än deras bästa resultat. Olika från tidigare arbeten föreslår vi en modalitetsberoende cross-media hämtning (MDCR) modell, där två par av prognoser lärs för olika cross-media hämtning uppgifter i stället för ett par prognoser. Genom att gemensamt optimera korrelationen mellan bilder och text och linjär regression från en modalrymd (bild eller text) till det semantiska utrymmet, lär sig två par av kartläggningar att projicera bilder och text från sina ursprungliga funktionsrymder till två gemensamma latenta subrymder (ett för I2T och det andra för T2I). Omfattande experiment visar överlägsenheten av den föreslagna MDCR jämfört med andra metoder. I synnerhet, baserat på den 4,096-dimensionella konvolutionella neurala nätverket (CNN) visuell funktion och 100-dimensionell Latent Dirichlet Allocation (LDA) textfunktion, mAP av den föreslagna metoden uppnår mAP poäng 41,5%, vilket är en ny state-of-the-art prestanda på Wikipedia-datauppsättningen.
I REF föreslogs en metod för modalitetsberoende cross-media hämtning (MDCR), och den använder olika prognoser enligt olika hämtningsuppgifter.
Modality-Dependent Cross-Media Retrieval
{'venue': 'TIST', 'journal': None, 'mag_field_of_study': ['Computer Science']}