Rörelse har visat sig vara användbart för videoförståelse, där rörelse typiskt representeras av optiskt flöde. Men datorflödet från videoramar är mycket tidskrävande. Nya verk direkt utnyttja rörelsevektorer och rester lätt tillgängliga i den komprimerade videon för att representera rörelse utan kostnad. Även om detta undviker flödesberäkning, det gör också ont noggrannhet eftersom rörelsevektorn är bullriga och har avsevärt minskad upplösning, vilket gör det en mindre diskriminerande rörelse representation. För att lösa dessa problem föreslår vi ett lättviktigt generatornätverk, som minskar ljud i rörelsevektorer och fångar fin rörelsedetaljer, för att uppnå en mer diskriminerande Motion Cue (DMC) representation. Eftersom optiskt flöde är en mer exakt rörelserepresentation, utbildar vi DMC-generatorn till ungefärligt flöde med hjälp av en rekonstruktionsförlust och en kontradiktorisk förlust, tillsammans med åtgärdsklassificeringsuppgiften nedströms. Omfattande utvärderingar av tre riktmärken för erkännande av åtgärder och en delmängd av Kinetics) bekräftar effektiviteten i vår metod. Vårt fullständiga system, som består av generatorn och klassificeringsmaskinen, myntas som DMC-Net som får hög noggrannhet nära den att använda flödet och kör två storleksordningar snabbare än att använda optiskt flöde vid inference tid.
Speciellt, DMC-Net REF förbättrades på CoViAR genom att införa en lätt generator för att minska rörelsevektor buller och fånga fin rörelse detaljer.
DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}