Multimodala sensoriska data liknar den form av information som människor uppfattar för inlärning och är lätta att få tag på i stora mängder. Jämfört med enmodala data ger synkronisering av begrepp mellan metoder i sådana data övervakning för att skilja mellan de underliggande faktorerna för varje modalitet. Tidigare arbete med att utnyttja multimodala data har främst inriktats på att behålla endast de modalitetsinvarianta faktorerna medan resten kastas överbord. I detta dokument presenterar vi en partitionerad variantal autoencoder (PVAE) och flera utbildningsmål för att lära sig lösliga representationer, som kodar inte bara de delade faktorerna, men också modalitetsberoende, i separata latenta variabler. I synnerhet integrerar PVAE en variationsbaserad inferensram och en multimodal generativ modell som delar upp de förklarande faktorerna och villkoren endast på den relevanta undergruppen av dem för generering. Vi utvärderar vår modell på två parallella tal/bilddataset, och visar dess förmåga att lära sig olika representationer genom att kvalitativt utforska inom-modalitet och cross-modalitet villkorad generation med semantik och stilar som specificeras av exempel. För kvantitativ analys utvärderar vi klassificeringsnoggrannheten för automatiskt upptäckta semantiska enheter. Vår PVAE kan uppnå över 99% noggrannhet på båda modaliteterna.
Att lära sig representationer från multimodala data Hsu et al. I REF föreslogs användning av variabla autokodare för att koda inter- och intramodala faktorer till separata latenta variabler.
Disentangling by Partitioning: A Representation Learning Framework for Multimodal Sensory Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Engineering']}