Det är känt att de inkonsekventa fördelningarna och representationerna av olika former, såsom bild och text, orsakar heterogenitetsklyftan, vilket gör det mycket svårt att korrelera heterogena data och mäta deras likheter. Nyligen har generativa kontradiktoriska nätverk (GAN) föreslagits och har visat sin starka förmåga att modellera datadistribution och lära sig discriminativ representation. Det har också visat sig att det kontradiktoriska lärandet kan utnyttjas fullt ut för att lära sig diskriminerande gemensamma representationer för att överbrygga heterogenitetsklyftan. Inspirerade av detta strävar vi efter att effektivt korrelera storskaliga heterogena data av olika former med GAN:s makt att modellera cross-modal gemensam distribution. I denna artikel föreslår vi cross-modal Generative Adversarial Networks (CM-GONs) med följande bidrag. För det första föreslås en cross-modal GAN-arkitektur för att modellera gemensam distribution över data från olika metoder. Sambandet mellan intermodalitet och intermodalitet kan undersökas samtidigt i generativa och diskriminerande modeller. Båda konkurrerar med varandra för att främja gränsöverskridande lärande om korrelationer. För det andra föreslås de tvärmodala autokodarna med viktdelningsbegränsningar att bilda den generativa modellen. De utnyttjar inte bara det tvärmodala sambandet för att lära sig de gemensamma representationerna, utan bevarar också information om återuppbyggnaden för att fånga upp den semantiska konsekvensen inom varje modalitet. För det tredje föreslås en mekanism för tvärmodal utbildning, som använder sig av två typer av diskriminerande modeller för att samtidigt genomföra diskriminering inom intermodalitet och intermodalitet. De kan ömsesidigt bidra till att göra de gemensamma representationerna mer diskriminerande genom den kontradiktoriska utbildningsprocessen. Sammanfattningsvis kan vår föreslagna CM-GAN-strategi använda GAN för att utföra cross-modal gemensam representationsinlärning genom vilken heterogena data effektivt kan korreleras. Omfattande experiment genomförs för att kontrollera CM-GN:s prestanda vid cross-modal hämtning jämfört med 13 state-of-the-art metoder på 4 cross-modal dataset. Multimediadata med olika modaliteter - inklusive bilder, video, text, ljud och mer - blandas nu samman och representerar omfattande kunskap. Forskningen av kognitiv vetenskap visar att i den mänskliga hjärnan, kognition av världen utanför är genom fusion av flera sensoriska organ [26]. Det finns dock en heterogenitetsklyfta [55], vilket gör det ganska svårt för artificiell intelligens (AI) att simulera denna mänskliga kognitiva process, eftersom multimediadata med olika former består av en enorm mängd men har inkonsekvent distribution och representation. Naturligtvis finns det ett tvärmodalt samband mellan heterogena uppgifter om olika metoder för att beskriva specifika typer av statistiska beroenden [35]. Till exempel, för bilden och textbeskrivningar samexisterar på en webbsida, de kan vara i sig korrelerade och dela en viss nivå av semantisk konsistens. Därför är det nödvändigt att automatiskt utnyttja och förstå denna latenta korrelation över data från olika metoder och ytterligare konstruera mätvärden på dem för att mäta hur de är semantiskt relevanta. För att ta itu med denna fråga är en intuitiv idé att modellera den gemensamma fördelningen av data från olika metoder för att lära sig den gemensamma representationen, som kan bilda ett gemensamt utrymme där heterogena data kartläggs. Därför kan likheterna mellan dem direkt beräknas genom att använda gemensamma avståndsmått. Figur 1 innehåller illustrationer av ovanstående ramar. På så sätt kan heterogenitetsklyftan mellan data från olika metoder minskas så att heterogena data lättare kan korreleras för att realisera olika praktiska tillämpningar, såsom cross-modal hämtning [33], där data från olika metoder kan hämtas flexibelt samtidigt genom en fråga om alla modaliteter. Många metoder [2, 24, 59] har föreslagits utifrån denna idé. Vissa lär sig den gemensamma representationen genom att modellera den tvärmodala korrelationen så att likheterna mellan olika metoder kan mätas direkt. Dessa befintliga metoder kan delas in i två huvudkategorier enligt deras olika modeller enligt följande. Den första är i en traditionell ram, som försöker lära sig att kartlägga matriser för data av olika former genom att optimera de statistiska värdena för att projicera dem i ett gemensamt utrymme. Canonical korrelation analyse (CCA) [39] är ett av de representativa verken, som har många förlängningar såsom de som beskrivs i [8, 12, 54]. Den andra typen av metoder [6, 25, 31, 32] använder den starka inlärningsförmågan hos ett djupt neuralt nätverk (DNN) för att bygga ett flerskiktsnät. De flesta av dem minimerar korrelationsinlärningsfel mellan olika metoder för gemensam representationsinlärning. På senare tid har generativa kontradiktoriska nätverk [9] föreslagits för att uppskatta en generativ modell genom en kontradiktorisk utbildningsprocess. Den grundläggande modellen av GANs innehåller två komponenter: en generativ modell G och en diskriminerande modell D. Den generativa modellen syftar till att fånga datadistribution, medan den diskriminerande modellen försöker diskriminera om indataprovet kommer från verkliga data eller genereras från G. En kontradiktorisk utbildningsstrategi antas för att träna dessa två modeller samtidigt, vilket gör att de konkurrerar med varandra för ömsesidig marknadsföring för att lära sig bättre representation av indata. Inspirerad av GAN:s senaste framsteg försöker forskarna tillämpa GAN i datorvisionsområden, såsom bildsyntes [36], videoförutsägelse [7] och objektdetektering [23]. Definitionen av en generativ modell kan generaliseras. Det genererar inte bara de ursprungliga instanserna, såsom bildsyntes [36], men också genererar representationen för varje vertex i en graf struktur, som syftar till att lära sig inbäddning för nätverksanalys och förutsägelse [49]. Dessutom kan det generera representationer av dokument som är relevanta för ge förfrågan, som utnyttjas av den diskriminerande modellen för att uppnå en bättre uppskattning av dokument ranking [50]. Medan alla av dem syftar till att approxima den underliggande distributionen av ursprungliga indata. Idén om kontradiktoriskt lärande kan därför utnyttjas fullt ut genom att man diskriminerar data från olika former och skapar gemensamma representationer för bild och text, som syftar till att modellera den tvärmodala korrelationen genom att approximera den gemensamma fördelningen av data från olika medlemsstater.
Peng m.fl. REF syftar till att använda GAN för att lära sig den gemensamma representationen och öka det tvärmodala korrelationslärandet, vilket är ett helt annat mål för vår metod att lära sig hashfunktioner utan beroendet av parade träningsprover mellan olika metoder.
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
{'venue': 'TOMM', 'journal': None, 'mag_field_of_study': ['Computer Science']}