Robotar som interagerar med den fysiska världen kommer att gynnas av en finkornig taktil förståelse av objekt och ytor. Dessutom kan robotar för vissa uppgifter behöva känna till ett föremåls haptiska egenskaper innan de rör vid det. För att möjliggöra bättre taktil förståelse för robotar föreslår vi en metod för att klassificera ytor med haptiska adjektiv (t.ex. komprimerbara eller släta) från både visuella och fysiska interaktionsdata. Människor kombinerar vanligtvis visuella förutsägelser och återkoppling från fysiska interaktioner för att exakt förutsäga haptiska egenskaper och interagera med världen. Inspirerade av detta kognitiva mönster föreslår och utforskar vi en rent visuell haptisk förutsägelsemodell. Rent visuella modeller gör det möjligt för en robot att "känna" sig utan fysisk interaktion. Dessutom visar vi att användning av både visuella och fysiska interaktionssignaler tillsammans ger en mer exakt haptisk klassificering. Våra modeller drar nytta av de senaste framstegen i djupa neurala nätverk genom att använda en enhetlig strategi för lärande funktioner för fysisk interaktion och visuella observationer. Även om vi använder lite domänspecifik kunskap uppnår vår modell fortfarande bättre resultat än metoder baserade på handgjorda funktioner.
Gao m.fl. I REF föreslogs en DNN för att sammansmälta taktila och visuella data för att klassificera ytor med haptiska adjektiv.
Deep learning for tactile understanding from visual and haptic data
{'venue': '2016 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2016 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}