I detta dokument föreslår vi en korrelerad och individuell multimodal djupinlärningsmetod (CIMDL) för RGB-D-objektigenkänning. Till skillnad från de flesta konventionella RGB-D objektigenkänningsmetoder som extraherar funktioner från RGB och djup kanaler individuellt, lär vår CIMDL gemensamt funktionen representationer från rå RGB-D data med ett par djupa neurala nätverk, så att den sharable och modal specifik information kan utnyttjas samtidigt och explicit. Speciellt konstruerar vi ett par djupa kvarvarande nätverk för RGB och djupdata, och omvandlar dem till det översta lagret i nätverket med en förlustfunktion som lär sig ett nytt funktionsutrymme där både den korrelerade delen och den enskilda delen av RGB-D-informationen är väl modellerade. Parametrarna för hela nätverken uppdateras med hjälp av kriteriet back-förökning. Experimentella resultat på två allmänt använda RGB-D-objektbildsriktmärkesdata visar tydligt att vår metod överträffar de flesta av de senaste metoderna.
Wang m.fl. REF får multimodal funktion genom att använda ett anpassat lager för att separera individuell och korrelerad information om de extraherade RGB- och djupfunktionerna.
Correlated and Individual Multi-Modal Deep Learning for RGB-D Object Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}