Abstrakt. Data som genereras från verkliga händelser är vanligtvis tidsbundna och innehåller multimodal information som ljud, bild, djup, sensor etc. som måste kombineras på ett intelligent sätt för klassificeringsuppgifter. I detta dokument föreslår vi en ny generaliserad djup neural nätverk arkitektur där temporalströmmar från flera former kombineras. Det finns totalt M+1 (M är antalet modaliteter) komponenter i det föreslagna nätverket. Den första komponenten är en ny tidsmässigt hybrid Recurrent Neural Network (RNN) som utnyttjar den multimodala tidsinformationens kompletterande karaktär genom att göra det möjligt för nätverket att lära sig både modalitetsspecifika tidsmässiga dynamiker och dynamiken i ett multimodalt funktionsutrymme. M ytterligare komponenter läggs till i nätverket som extraherar diskriminativa men icke-temporala signaler från varje modalitet. Slutligen kombineras förutsägelserna från alla dessa komponenter linjärt med hjälp av en uppsättning automatiskt inlärda vikter. Vi utför omfattande experiment på tre olika datauppsättningar som spänner över fyra metoder. Det föreslagna nätet är relativt 3,5 %, 5,7 % och 2 % bättre än det bästa multimodala utgångsvärdet för UCF-101, CCV respektive Multimodal Gesture.
Gandhi m.fl. I Ref föreslogs ett nytt tidsmässigt hybridiserat RNN-system för multimodal informationsfusion.
GeThR-Net: A Generalized Temporally Hybrid Recurrent Neural Network for Multimodal Information Fusion
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}