Beräkningsmodellering av mänskligt multimodalt språk är ett framväxande forskningsområde inom behandling av naturligt språk som spänner över språk, visuella och akustiska metoder. För att förstå multimodala språk krävs modellering av inte bara interaktionen inom varje modalitet (interaktioner mellan olika transportsätt) utan framför allt interaktionen mellan olika metoder (interaktioner mellan olika transportsätt). I detta dokument föreslår vi Recurrent Multistage Fusion Network (RMFN) som bryter ner fusionsproblemet i flera steg, var och en av dem fokuserade på en delmängd multimodala signaler för specialiserad och effektiv fusion. Gränsöverskridande interaktioner modelleras med hjälp av denna flerstegs fusionsmetod som bygger på mellanliggande representationer från tidigare stadier. Temporala och intramodala interaktioner modelleras genom att integrera vår föreslagna fusionsstrategi med ett system av återkommande neurala nätverk. RMFN visar den senaste prestandan när det gäller att modellera mänskligt multimodalt språk i tre offentliga datauppsättningar som rör multimodala känsloanalyser, känsloigenkänning och erkännande av talaregenskaper. Vi erbjuder visualiseringar för att visa att varje stadium av fusion fokuserar på en annan delmängd av multimodala signaler, lära sig alltmer diskriminerande multimodala representationer.
REF föreslår Recurrent Multistage Fusion Network (RMFN) som bryter ned multimodal fusion i tre steg och använder LSTM för att utföra lokal fusion.
Multimodal Language Analysis with Recurrent Multistage Fusion
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}