Abstract-Vår erfarenhet av världen är multimodal - vi ser objekt, hör ljud, känna textur, lukter och smak smaker. Med modalitet avses det sätt på vilket något händer eller upplevs och ett forskningsproblem karakteriseras som multimodalt när det omfattar flera sådana metoder. För att artificiell intelligens ska kunna göra framsteg i förståelsen av världen omkring oss måste den kunna tolka sådana multimodala signaler tillsammans. Multimodal maskininlärning syftar till att bygga modeller som kan bearbeta och relatera information från flera olika metoder. Det är ett levande tvärvetenskapligt område med allt större betydelse och med utomordentlig potential. I stället för att fokusera på specifika multimodala tillämpningar kartlägger detta dokument de senaste framstegen när det gäller att lära sig multimodala maskiner och presenterar dem i en gemensam taxonomi. Vi går längre än den typiska tidig och sen fusion kategorisering och identifiera bredare utmaningar som står inför multimodala maskininlärning, nämligen: representation, översättning, anpassning, fusion och samlärande. Denna nya taxonomi kommer att göra det möjligt för forskare att bättre förstå områdets tillstånd och identifiera riktningar för framtida forskning.
Området multimodal maskininlärning har särskilt fått oöverträffad fart REF.
Multimodal Machine Learning: A Survey and Taxonomy
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Medicine', 'Computer Science', 'Mathematics']}