I detta dokument föreslås ett nytt tillvägagångssätt för att identifiera åtgärder från RGB-D-kameror, där djupfunktioner och RGB-visuella funktioner används gemensamt. Rika heterogena RGB- och djupdata komprimeras effektivt och projiceras till ett inlärt delat utrymme, för att minska buller och fånga användbar information för igenkänning. Kunskap från olika källor kan sedan delas med andra i det lärda rummet för att lära sig tvärmodala funktioner. Detta styr upptäckten av värdefull information för erkännande. För att fånga komplexa spatiotemporala strukturella relationer i visuella och djup funktioner, representerar vi både RGB och djupdata i en matris form. Vi formulerar igenkänningsuppgiften som en lågrankad bilinjär modell som består av rad- och kolonnparametermatriser. Graden av modellen parameter minimeras för att bygga en låg-rank klassificering, vilket är fördelaktigt för att förbättra generaliseringskraften. Den föreslagna metoden utvärderas i stor utsträckning med hjälp av två offentliga RGB-D-åtgärdsdata och uppnår de senaste resultaten. Det visar också lovande resultat om RGB eller djupdata saknas i utbildnings- eller testproceduren.
Kong m.fl. REF slog samman RGB och djupfunktioner och lärde sig en projektionsfunktion baserad på både RGB och djup.
Bilinear heterogeneous information machine for RGB-D action recognition
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}