De flesta av de befintliga multimodal hämtningsmetoderna använder sig av märkta data för att lära sig projektionsmatriser för olika modaldata. Dessa metoder lär sig vanligtvis det ursprungliga semantiska utrymmet för att överbrygga den heterogena klyftan och ignorerar den rika semantiska informationen i omärkta data. Följaktligen föreslås en semantisk cross-modal hämtning med semi-övervakad grafreglering (SCCMR) algoritm, som integrerar förutsägelsen av etiketter och optimeringen av projektionsmatriser i ett enhetligt ramverk för att säkerställa att den erhållna lösningen är globalt optimal. Samtidigt använder metoden grafen inbäddning för att överväga de närmaste grannarna i den potentiella subrymden av parade bilder och texter samt bilder och texter med samma semantik. l 21 -normrestriktion tillämpas på projektionsmatriserna för att välja de diskriminerande egenskaperna för olika modaldata. Resultaten visar att vår metod överträffar flera avancerade metoder på fyra vanliga multimodala datauppsättningar. INDEX TERMS cross-modal hämtning, halvövervakad, grafreglering, subrymdsinlärning.
Xu och al. Ref tillämpad graf inbäddning metod för att säkerställa approximationen av parade bilder och texter i gemensamma inbäddning utrymme.
Semantic Consistency Cross-Modal Retrieval With Semi-Supervised Graph Regularization
{'venue': 'IEEE Access', 'journal': 'IEEE Access', 'mag_field_of_study': ['Computer Science']}