Abstract DNN-baserad cross-modal hämtning är en forskningshotspot för att hitta olika metoder som bild och text, men befintliga metoder står ofta inför utmaningen med otillräckliga data om cross-modal utbildning. I single-modal scenario, liknande problem lättas vanligtvis genom att överföra kunskap från storskaliga hjälpdataset (som ImageNet). Kunskaper från sådana enmodala datauppsättningar är också mycket användbara för gränsöverskridande hämtning, vilket kan ge omfattande allmän semantisk information som kan delas på olika sätt. Det är dock svårt att överföra användbar kunskap från enmodal (som bild) källa till tvärmodal (som bild/text) måldomän. Kunskap inom källdomänen kan inte direkt överföras till båda två olika metoder inom måldomänen, och den inneboende tvärmodala korrelationen i måldomänen ger viktiga tips för crossmodal hämtning som bör bevaras under överföringsprocessen. I detta dokument föreslås cross-modal Hybrid Transfer Network (CHTN) med två delnätverk: Delnätverket Modalsharing transfer använder modaliteten i både käll- och måldomänerna som en bro, för att överföra kunskap till båda två metoder samtidigt; delnätet Layer-sharing bibehåller den inneboende korsmodala semantiska korrelationen för att ytterligare anpassa sig till cross-modal hämtning. Cross-modal data kan konverteras till gemensam representation av CHTN för hämtning, och omfattande experiment på 3 datauppsättningar visar dess effektivitet.
Huang m.fl. I REF infördes överföringslärande till cross-modal analys och föreslogs crossmodal Hybrid Transfer Network (CHTN).
Cross-modal Common Representation Learning by Hybrid Transfer Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}