Abstract-Cross-modal hämtning har blivit ett framhävt forskningsämne för hämtning över multimediadata såsom bild och text. En tvåstegsram för lärande är allmänt antagen av de flesta befintliga metoder som bygger på djupa neurala nätverk (DNN): Det första inlärningsstadiet är att generera separat representation för varje modalitet, och det andra inlärningsstadiet är att få den tvärmodala gemensamma representationen. De befintliga metoderna har dock tre begränsningar: 1) I det första inlärningsstadiet modellerar de endast korrelation mellan olika transportsätt, men bortser från intermodalitetssamband med ett rikt kompletterande sammanhang. 2) I det andra inlärningsstadiet antar de endast grunda nätverk med en enda förlustreglering, men bortser från den inneboende relevansen av intramodalitet och intermodalitet korrelation. 3) Endast ursprungliga fall beaktas medan de kompletterande finkorniga ledtrådar som tillhandahålls av deras patchar ignoreras. För att ta itu med ovanstående problem föreslås i detta dokument en strategi för korsmodalt korrelationslärande (CCL) med flerkärnig fusion genom hierarkiska nätverk, och bidragen är följande: 1) I det första inlärningsstadiet utnyttjar CCL flernivåsamband med gemensam optimering för att bevara det kompletterande sammanhanget från intramodalitet och intermodalitetsamband samtidigt. 2) I det andra inlärningsstadiet är en strategi för lärande med flera uppgifter utformad för att på ett anpassningsbart sätt balansera de semantiska begränsningarna inom intermodalitetskategorin och de parvisa likhetsbegränsningarna. 3) CCL antar multigrained modellering, som sammansmälter grovkorniga fall och finkorniga fläckar för att göra korsmodal korrelation mer exakt. Jämfört med 13 state-of-the-art metoder på 6 allmänt använda cross-modal dataset, de experimentella resultaten visar vår CCL-strategi uppnår bästa prestanda.
Peng m.fl. REF föreslog att man skulle bygga ett multipatway-nätverk med hjälp av grovkorniga fall och finkorniga fläckar för att förbättra korsmodal korrelation och uppnå bästa prestanda.
CCL: Cross-modal Correlation Learning With Multigrained Fusion by Hierarchical Network
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}