Effektiv likhetssökning från storskalig multimodal databas genomsyrar moderna sökmotorer och sociala nätverk. För att stödja frågor om innehållsformer bör systemet möjliggöra korsmodal korrelation och beräkningseffektiv indexering. Medan hashing metoder har visat stor potential för att uppnå detta mål, nuvarande försök i allmänhet misslyckas med att lära isomorphic hash koder i ett sömlöst schema, det vill säga, de inbäddade flera former i en kontinuerlig isomorphic utrymme och separat tröskel inbäddade i binära koder, som medför betydande förlust av hämtning noggrannhet. I detta dokument närmar vi oss sömlös multimodal hashing genom att föreslå en ny Composite Correlation Quantization (CCQ) modell. Specifikt, CCQ gemensamt finner korrelation-maximal kartläggningar som omvandlar olika modaliteter till isomorfisk latent utrymme, och lär sig sammansatta kvantizers som omvandlar isomorfa latenta funktioner till kompakta binära koder. En optimeringsram utformas för att bevara både intramodal likhet och intermodal korrelation genom att minimera både rekonstruktions- och kvantiseringsfel, som kan tränas från både parade och delvis parade data i linjär tid. En omfattande uppsättning experiment visar tydligt den överlägsna effektiviteten och effektiviteten hos CCQ mot de senaste hashmetoderna för både enmodal och korsmodal hämtning.
I den oövervakade metoden, sammansatta korrelation kvantization (CCQ) REF använder korrelation-maximal kartläggning för att omvandla datapunkter från olika modalitet typer till en isomorfisk latent utrymme och sedan konverterar till binära koder genom att lära sig sammansatta kvantizers.
Composite Correlation Quantization for Efficient Multimodal Retrieval
{'venue': "SIGIR '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}