Multimodal hämtning växer fram som ett nytt sökparadigm som möjliggör sömlös hämtning av information från olika typer av medier. Till exempel kan användare helt enkelt knäppa en filmaffisch för att söka relevanta recensioner och trailers. För att lösa problemet lär sig en uppsättning karteringsfunktioner att projicera högdimensionella funktioner som extraheras från data från olika medietyper till ett gemensamt lågdimensionellt utrymme så att metriska avståndsmått kan tillämpas. I detta dokument föreslår vi en effektiv kartläggningsmekanism som bygger på djupt lärande (dvs. staplade autokodare) för multimodal hämtning. Kartläggningsfunktionerna lärs ut genom att man optimerar en ny objektiv funktion, som fångar upp både intramodala och intermodala semantiska samband mellan data från heterogena källor på ett effektivt sätt. Jämfört med tidigare arbeten som kräver en stor mängd förkunskaper, såsom likhetsmatriser för intramodala data och rankningsexempel, kräver vår metod lite förkunskaper. Med tanke på ett stort träningsdataset delar vi upp det i minibatcher och justerar kontinuerligt kartfunktionerna för varje sats av inmatning. Därför är vår metod minneseffektiv med avseende på datavolymen. Experiment på tre verkliga datauppsättningar visar att vår föreslagna metod avsevärt förbättrar söknoggrannheten jämfört med de senaste metoderna.
MSAE REF kan fånga både intramodala och intermodala semantiska relationer med hjälp av djup inlärning, men det kräver spektral hashing för kvantisering och återkommer utbildningsskalbarhetsfrågan.
Effective Multi-Modal Retrieval based on Stacked Auto-Encoders
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}