Visuella och ljud modaliteter är två symbiotiska modaliteter underliggande videor, som innehåller både gemensam och kompletterande information. Om de kan brytas och smältas tillräckligt kan framförandet av relaterade videouppgifter förbättras avsevärt. Men på grund av miljöstörningar eller sensorfel, ibland bara en modalitet existerar medan den andra överges eller saknas. Genom att återvinna den saknade modaliteten från den befintliga på grundval av den gemensamma information som delas mellan dem och den tidigare informationen om den specifika modaliteten, kommer stor bonus att vinnas för olika visionsuppgifter. I detta dokument föreslår vi en Cross-Modal Cycle Generative Adversarial Network (CMC-GAN) för att hantera cross-modal visuell-audio ömsesidig generering. CMCGAN består särskilt av fyra typer av undernätverk: audio-till-visuella, visuella-till-audio, audio-till-audio och visuella-till-visuella subnätverk, som är organiserade i en cykelarkitektur. CMCGAN har flera anmärkningsvärda fördelar. För det första förenar CMCGAN visuell-audio ömsesidig generation i en gemensam ram genom en gemensam motsvarande kontradiktorisk förlust. För det andra, genom att införa en latent vektor med Gaussian distribution, kan CMCGAN hantera dimension och struktur asymmetri över visuella och ljud villkor effektivt. För det tredje kan CMCGAN tränas end-to-end för att uppnå bättre bekvämlighet. Med hjälp av CMC-GAN utvecklar vi ett dynamiskt multimodalt klassificeringsnätverk för att hantera det modalitetsproblem som saknas. Överflödiga experiment har utförts och validerar att CMCGAN får toppmoderna korsmodala visuella ljudgenereringsresultat. Dessutom har det visat sig att den genererade modaliteten uppnår jämförbara effekter med den ursprungliga modaliteten, vilket visar effektiviteten och fördelarna med vår föreslagna metod. Video innehåller huvudsakligen två symbiotiska metoder, den visuella och ljud. Information som ingår i dessa två metoder äger både gemensam och kompletterande information. Gemensam information kan göra översättning över visuella och ljud villkor vara möjligt. Samtidigt kan kompletterande information antas som föregångare till en enda metod för att underlätta de associativa uppgifterna. Ett tillräckligt utnyttjande av denna gemensamma och kompletterande information kommer således att ytterligare öka resultaten av
Visuellt och ljud är två symbiotiska modaliteter bakom videon, inklusive gemensam och kompletterande information REF, och det är en intressant forskning att minner relationen bakom de två modaliteterna.
CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}