Cross-modal hashing syftar till att kartlägga heterogena multimediadata till ett gemensamt hamming utrymme, som kan åstadkomma snabb och flexibel hämtning mellan olika metoder. Oöverträffad korsmodal hashing är mer flexibel och tillämplig än övervakade metoder, eftersom inget intensivt märkningsarbete är involverat. Befintliga oövervakade metoder lär sig dock hashingfunktioner genom att bevara inter- och intra korrelationer, samtidigt som man bortser från den underliggande mångfaldiga strukturen över olika former, vilket är mycket användbart för att fånga meningsfulla närmaste grannar av olika metoder för cross-modal hämtning. För att ta itu med ovanstående problem föreslår vi i detta dokument en icke-överträffad genomerativ korsmodal hashningsmetod (UGACH), som till fullo utnyttjar GAN:s förmåga att lära sig oövervakad representation för att utnyttja den underliggande mångfaldiga strukturen av tvärmodala data. De viktigaste bidragen kan sammanfattas på följande sätt: (1) Vi föreslår ett generativt kontradiktoriskt nätverk för att modellera cross-modal hashing på ett oövervakat sätt. I den föreslagna UGACH, med en data av en modalitet, den generativa modellen försöker att passa fördelningen över den mångfacetterade strukturen, och välja informativa data av en annan modalitet för att utmana den diskriminerande modellen. Den diskriminerande modellen lär sig att särskilja de genererade uppgifterna och de verkligt positiva data som provtagits från korrelationsdiagram för att uppnå bättre hämtningsnoggrannhet. Dessa två modeller tränas på ett kontradiktoriskt sätt för att förbättra varandra och främja hashfunktionsinlärning. (2) Vi föreslår ett korrelationsdiagrambaserat tillvägagångssätt för att fånga den underliggande mångfaldiga strukturen över olika modaliteter, så att data av olika modaliteter men inom samma gren kan ha mindre hamming avstånd och främja hämtning noggrannhet. Omfattande experiment jämfört med 6 state-of-the-art metoder på 2 allmänt använda datauppsättningar verifierar effektiviteten i vårt föreslagna tillvägagångssätt.
Oöverträffad generativ kontrarial hashing (UGACH) REF utnyttjar generativt kontraversarialt nätverk för att träna en generativ modell och en discriminativ modell.
Unsupervised Generative Adversarial Cross-modal Hashing
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}