Att förvärva spatio-temporala tillstånd av en åtgärd är det viktigaste steget för åtgärdsklassificering. I detta dokument föreslår vi en fusionsstrategi på datanivå, Motion Fused Frames (MFF), utformad för att sammanfoga rörelseinformation till statiska bilder som bättre representanter för spatio-temporala tillstånd av en handling. Den fleråriga budgetramen kan användas som input till alla djupgående lärande arkitektur med mycket lite modifiering på nätverket. Vi utvärderar MFF på hand gestigenkänningsuppgifter med hjälp av tre videodataset -Jester, ChaLearn LAP IsoGD och NVIDIA Dynamic Hand Gesture Datasets -som kräver att man fångar långsiktiga tidsmässiga relationer av handrörelser. Vår strategi ger mycket konkurrenskraftiga resultat på Jester och ChaLearn-riktmärken med en klassificeringsnoggrannhet på 96,28 % respektive 57,4 %, samtidigt som man uppnår toppresultat med 84,7 % noggrannhet på NVIDIA-riktmärket.
Å andra sidan föreslår Ref en fusionsstrategi på datanivå, Motion Fused Frames (MFF), där olika metoder kan kombineras med mycket lite modifiering av nätet och beräkningskostnader.
Motion Fused Frames: Data Level Fusion Strategy for Hand Gesture Recognition
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)', 'mag_field_of_study': ['Computer Science']}