Att lära sig multimodala representationer är ett i grunden komplicerat forskningsproblem på grund av förekomsten av flera heterogena informationskällor. Även om förekomsten av flera metoder ger ytterligare värdefull information, finns det två viktiga utmaningar att ta itu med när man lär sig av multimodala data: 1) Modeller måste lära sig komplexa intramodala och tvärmodala interaktioner för förutsägelser och 2) modeller måste vara robusta för oväntade saknade eller bullriga metoder under testning. I detta dokument föreslår vi att man optimerar för ett gemensamt generativt och diskriminerande mål för multimodala data och etiketter. Vi inför en modell som faktoriserar representationer i två uppsättningar oberoende faktorer: multimodala diskriminativa och modalitetsspecifika generativa faktorer. Multimodala diskriminativa faktorer delas upp i alla former och innehåller gemensamma multimodala egenskaper som krävs för diskriminerande uppgifter som t.ex. förutsägelser om känslor. Modalitetsspecifika generativa faktorer är unika för varje modalitet och innehåller den information som krävs för att generera data. Experimentella resultat visar att vår modell kan lära sig meningsfulla multimodala representationer som uppnår toppmoderna eller konkurrenskraftiga resultat på sex multimodala datauppsättningar. Vår modell visar flexibla generativ kapacitet genom att konditionering på oberoende faktorer och kan rekonstruera saknade modaliteter utan att avsevärt påverka prestanda. Slutligen tolkar vi våra faktoriserade representationer för att förstå de interaktioner som påverkar multimodalt lärande. * lika bidrag arXiv:1806.06176v2 [cs.LG] Publicerad som konferensbidrag på ICLR 2019 Exakt bakre slutledning i ekvation 1 kan vara analytiskt intractable på grund av integrationen över Z. Vi tar därför till att använda en ungefärlig inference distribution Q(Z X 1 till M, Y) som beskrivs i
Senare, Tsai et al. REF faktoriserade representationer i multimodala diskriminativa och modalitetsspecifika generativa faktorer med hjälp av inferens och generativa nätverk.
Learning Factorized Multimodal Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}