Vi tar itu med problemet med att hitta bra arkitekturer för multimodala klassificeringsproblem. Vi föreslår ett nytt och generiskt sökområde som spänner över ett stort antal möjliga fusionsarkitekturer. För att hitta en optimal arkitektur för en viss datauppsättning i det föreslagna sökområdet utnyttjar vi en effektiv sekventiell modellbaserad prospekteringsmetod som är skräddarsydd för problemet. Vi visar värdet av att posera multimodal fusion som ett neural arkitektur sökproblem genom omfattande experiment på en leksak dataset och två andra verkliga multimodala dataset. Vi upptäcker fusion arkitekturer som uppvisar state-of-the-art prestanda för problem med olika domän och dataset storlek, inklusive NTU RGB + D dataset, den största multimodala igenkänningsdata som finns tillgängliga.
REF föreslog en metod för att söka efter en optimal neural arkitektur som optimerar sammansmältningen av funktionsmodaliteter baserat på ett optimeringssystem som utgör neuralarkitekturens sökproblem som en kombinatorisk sökning.
MFAS: Multimodal Fusion Architecture Search
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}