Vi undersöker djupa generativa modeller som kan utbyta flera modaliteter dubbelriktat, t.ex. generera bilder från motsvarande texter och vice versa. Nyligen, vissa studier hanterar flera former på djupa generativa modeller, såsom variations autoencoders (VAEs). Dessa modeller förutsätter dock vanligtvis att villkoren tvingas ha ett villkorat förhållande, dvs. att vi bara kan skapa metoder i en riktning. För att uppnå vårt mål bör vi ta fram en gemensam representation som fångar upp koncept på hög nivå bland alla former och genom vilka vi kan utbyta dem i två riktningar. Som beskrivs här föreslår vi en gemensam multimodal variantal autoencoder (JMVAE), där alla former är oberoende av gemensam representation. Det är med andra ord en modell för en gemensam fördelning av villkoren. Dessutom utvecklar vi en ytterligare metod, JMVAE-kl, som utbildas genom att minska skillnaden mellan JMVAE:s kodare och förberedda nätverk av respektive modaliteter för att kunna generera saknade modaliteter på rätt sätt. Våra experiment visar att vår föreslagna metod kan få lämplig gemensam representation från flera sätt och att den kan generera och rekonstruera dem mer korrekt än konventionella fordonslarm. Vi visar vidare att JMVAE kan generera flera modaliteter dubbelriktat.
Vårt arbete är också relaterat till den gemensamma multimodala variantal autoencoder (JMVAE) REF, som lär sig representationer från multimodala data och möjliggör tvåvägsgenerering från en modalitet till en annan.
Joint Multimodal Learning with Deep Generative Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}