I detta dokument tar vi itu med problemet med multimodalt lärande för autonoma robotar. Autonoma robotar som interagerar med människor i en föränderlig miljö behöver förmågan att förvärva kunskap från sina flera perceptuella kanaler på ett oövervakat sätt. De flesta metoder i litteraturen utnyttjar konstruerade metoder för att bearbeta varje perceptuell modalitet. Däremot bör robotar kunna skaffa sig sina egna funktioner från de råa sensorerna och utnyttja den information som skapas genom interaktion med miljön: att lära sig av sin sensorimotoriska erfarenhet skulle leda till en effektivare strategi i ett livslångt perspektiv. I detta syfte föreslår vi en arkitektur baserad på djupa nätverk, som används av humanoid robot iCub för att lära sig en uppgift från flera perceptuella metoder (proprioception, vision, provspelning). Genom att strukturera högdimensionell, multimodal information i en uppsättning skilda undermanifolder på ett helt oövervakat sätt, gör den en betydande dimensionell minskning genom att tillhandahålla både en symbolisk representation av data och en fin diskriminering mellan två liknande stimuli. Dessutom kan det föreslagna nätet utnyttja multimodala korrelationer för att förbättra representationen av varje enskild modalitet.
I REF föreslogs en arkitektur baserad på djupa nätverk för att göra en humanoid robot iCub lära sig en uppgift från flera perceptuella metoder (nämligen proprioception, vision, ljud).
Deep unsupervised network for multimodal perception, representation and classification
{'venue': 'Robotics Auton. Syst.', 'journal': 'Robotics Auton. Syst.', 'mag_field_of_study': ['Computer Science']}