Gränsöverskridande hämtning har visat stort intresse för hämtning över olika former (t.ex. text, bild, video, ljud och 3D-modell). Befintliga metoder som bygger på ett djupt neuralt nätverk står dock ofta inför utmaningen med otillräckliga data om crossmodal träning, vilket begränsar utbildningens effektivitet och lätt leder till överbemanning. Överföringslärande antas vanligtvis för att lösa problemet med otillräckliga utbildningsdata, men det är främst inriktat på kunskapsöverföring endast från storskaliga datauppsättningar som en ensammodal källkodsdomän (t.ex. ImageNet) till en enmodal måldomän. I själva verket innehåller sådana storskaliga enmodala datamängder också rika modaloberoende semantiska kunskaper som kan delas på olika sätt. Dessutom är storskaliga tvärmodala dataset mycket arbetskrävande att samla in och märka, så det är viktigt att till fullo utnyttja kunskaperna i enmodala dataset för att främja gränsöverskridande hämtning. För att uppnå ovanstående mål föreslås i detta dokument ett nät för hybridöverföring mellan transportsätt (MHTN), som syftar till att genomföra kunskapsöverföring från en enmodal källa till en multimodal måldomän och lära sig korsmodal gemensam representation. Det är en end-to-end arkitektur med två undernätverk. För det första föreslås ett delnät för kunskapsöverföring mellan olika transportsätt för att gemensamt överföra kunskap från en enda modalitet inom källområdet till alla former inom målområdet med en stjärnnätsstruktur, som destillerar modaloberoende kompletterande kunskap för att främja gränsöverskridande gemensam representationsutbildning. För det andra föreslås ett delnätverk för modal adversariell semantisk inlärning för att bygga upp en kontradiktorisk utbildningsmekanism mellan den gemensamma representationsgeneratorn och modalitetsdiskriminatorn, vilket gör den gemensamma representationen diskriminerande för semantik men odiskriminativ för metoder för att öka den korsmodala semantiska konsekvensen under överföringsprocessen. Omfattande experiment på fyra allmänt använda dataset visar effektiviteten av MHTN.
I REF, Huang et al. Föreslog det intermodala hybridöverföringsnätet (MHTN), en end-to-end-arkitektur med ett delnätverk för kunskapsöverföring mellan olika transportsätt och ett delnätverk för modal-adversariellt semantiskt lärande.
MHTN: Modal-Adversarial Hybrid Transfer Network for Cross-Modal Retrieval
{'venue': 'IEEE Transactions on Cybernetics', 'journal': 'IEEE Transactions on Cybernetics', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}