Abstract-Under de senaste åren har gränsöverskridande hämtning dragit stor uppmärksamhet till sig på grund av den snabba ökningen av multimodala data. Det krävs en typ av data som en fråga för att hämta relevanta data av en annan typ. Till exempel kan en användare använda en text för att hämta relevanta bilder eller videor. Eftersom frågan och resultaten kan vara av olika slag, är det fortfarande en utmaning att mäta innehållets likhet mellan olika former av data. Olika metoder har föreslagits för att ta itu med ett sådant problem. I detta dokument går vi först igenom ett antal representativa metoder för cross-modal hämtning och klassificerar dem i två huvudgrupper: 1) verkligt värderat representationsinlärning och 2) binärt representationsinlärning. Real-värderad representation inlärningsmetoder syftar till att lära real-värderade gemensamma representationer för olika former av data. För att påskynda den tvärmodala hämtningen föreslås ett antal inlärningsmetoder för binär representation för att kartlägga olika former av data i ett gemensamt hammingutrymme. Sedan introducerar vi flera multimodala dataset i samhället och visar de experimentella resultaten på två vanliga multimodala dataset. Jämförelsen visar att olika typer av multimodala återvinningsmetoder är karakteristiska, vilket förväntas gynna både praktiska tillämpningar och framtida forskning. Slutligen diskuterar vi öppna problem och framtida forskningsinriktningar.
Eftersom vi föreslår ett system för hämtning där inmatningsförfrågningar kan vara av olika slag, är vårt arbete relaterat till multimodala hämtningsmetoder som REF.
A Comprehensive Survey on Cross-modal Retrieval
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}