Cross-modal hashing kartor heterogen multimedia data till en gemensam Hamming utrymme för att förverkliga snabb och flexibel cross-modal hämtning. Kontrollerade tvärmodala hashmetoder har gjort betydande framsteg genom att införliva semantisk sidoinformation. De är dock i hög grad beroende av storskaligt märkta korsmodala utbildningsdata som är svåra att få tag på, eftersom det rör sig om flera olika metoder. De bortser också från den rika information som finns i den stora mängden omärkta data över olika former, vilket kan bidra till att modellera sambanden mellan olika metoder. För att ta itu med dessa problem föreslår vi i detta dokument ett nytt halvövervakat tvärmodalt hashsystem genom generativt kontradiktoriskt nätverk (SCH-GAN). De viktigaste bidragen kan sammanfattas på följande sätt: 1) Vi föreslår ett nytt generativt adversarialt nätverk för cross-modal hashing, där den generativa modellen försöker välja marginal exempel på en modalitet från omärkta data när det ges en fråga om en annan modalitet (t.ex., ger en textförfrågan för att hämta bilder och vice versa). Den diskriminerande modellen försöker särskilja de utvalda exemplen och verkliga positiva exempel på frågan. Dessa två modeller spelar ett minimax spel så att den generativa modellen kan främja hashing prestanda av den diskriminerande modellen och 2) vi föreslår en förstärkning lärande-baserad algoritm för att driva utbildningen av föreslagna SCH-GAN. Den generativa modellen tar den korrelationspoäng som förutspås av diskriminerande modell som belöning, och försöker välja de exempel som ligger nära marginalen för att främja en diskriminativ modell. Omfattande experiment verifierar effektiviteten i vårt föreslagna tillvägagångssätt, jämfört med nio state-of-the-art metoder på tre allmänt använda dataset. Index Terms-Cross-modal hashing, generativt kontraarialt nätverk (GAN), halvövervakad.
Halvövervakad korsmodal hashning genom generativt adversarialt nätverk (SCH-GAN) REF använder den generativa modellen för att välja marginal exempel på en modalitet från omärkta data för en fråga om en annan modalitet, medan den diskriminerande modellen försöker skilja de genererade exemplen och sanna positiva exempel med avseende på frågan.
SCH-GAN: Semi-Supervised Cross-Modal Hashing by Generative Adversarial Network
{'venue': 'IEEE Transactions on Cybernetics', 'journal': 'IEEE Transactions on Cybernetics', 'mag_field_of_study': ['Computer Science', 'Medicine', 'Mathematics']}