Mänskligt språk är ofta multimodalt, som förstår en blandning av naturligt språk, ansiktsgester och akustiska beteenden. Det finns dock två stora utmaningar när det gäller att modellera sådana multimodala tidsserier för mänskliga språk: 1) icke-anpassning av data på grund av varierande provtagningsfrekvenser för sekvenserna från varje modalitet, och 2) beroendet av långa intervall mellan elementen mellan olika modaliteter. I detta dokument introducerar vi Multimodal Transformer (MulT) för att på ett generiskt sätt behandla ovanstående frågor på ett heltäckande sätt utan att uttryckligen anpassa uppgifterna. Kärnan i vår modell är den riktade, parvisa, tvärmodala uppmärksamheten, som handlar om interaktioner mellan multimodala sekvenser över olika tidssteg och latent anpassar strömmar från en modalitet till en annan. Omfattande experiment på både anpassade och icke-anpassade multimodala tidsserier visar att vår modell överträffar toppmoderna metoder med stor marginal. Dessutom tyder empirisk analys på att korrelerade tvärmodala signaler kan fångas upp av den föreslagna korsmodala uppmärksamhetsmekanismen i MulT.
För modalitetsöversättningsmetoder omvandlar Multimodal Transformer (MulT) REF ) källmodalitet till målmodalitet med hjälp av riktad korsmodal uppmärksamhet.
Multimodal Transformer for Unaligned Multimodal Language Sequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Medicine']}