I denna artikel föreslår vi att lära sig delat semantiskt utrymme med korrelationsjustering (S 3 CA) för multimodala data representationer, som anpassar icke-linjära korrelationer av multimodala datadistributioner i djupa neurala nätverk utformade för heterogena data. I samband med cross-modal (event) hämtning, designar vi ett neuralt nätverk med konvolutionella lager och fullt anslutna lager för att extrahera funktioner för bilder, inklusive bilder på Flickr-liknande sociala medier. Samtidigt utnyttjar vi ett helt sammankopplat neuralt nätverk för att extrahera semantiska funktioner för textdokument, inklusive nyhetsartiklar från nyhetsmedia. I synnerhet är icke-linjära korrelationer av lageraktiveringar i de två neurala nätverken i linje med korrelationsanpassningen under den gemensamma utbildningen av nätverken. Dessutom projicerar vi multimodala data till ett delat semantiskt utrymme för cross-modal (event) hämtning, där avstånden mellan heterogena dataprover kan mätas direkt. Dessutom bidrar vi med en Wiki-Flickr Event dataset, där multimodala dataprover inte beskriver varandra i par som de befintliga parade dataset, men alla av dem beskriver semantiska händelser. Omfattande experiment utförda på både parade och oparade datauppsättningar visar effektiviteten av S 3 CA, överträffar de senaste metoderna.
Yang m.fl. REF föreslog att man skulle lära sig ett gemensamt semantiskt utrymme genom att anpassa korrelationen mellan två metoder.
Learning Shared Semantic Space with Correlation Alignment for Cross-Modal Event Retrieval
{'venue': None, 'journal': 'ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)', 'mag_field_of_study': ['Computer Science']}