Abstrakt. Vi föreslår en R-CNN-modell med två olika regioner för att upptäcka åtgärder i realistiska videor. Vi börjar med att upptäcka åtgärder på ramnivå baserat på snabbare R-CNN [1] och ger tre bidrag: 1) vi visar att ett förslagsnätverk för rörelseregioner genererar högkvalitativa förslag som kompletterar förslagen i ett förslagsnätverk för utseenderegioner, 2) vi visar att stapling av optiskt flöde över flera ramar avsevärt förbättrar åtgärdsdetekteringen på ramnivå, och 3) vi inbäddar ett flerregionsystem i den snabbare R-CNN-modellen, vilket ger kompletterande information om kroppsdelar. Vi kopplar sedan frame-level upptäckter med Viterbi algoritmen, och tidsmässigt lokalisera en åtgärd med den maximala subarray metoden. Experimentella resultat på UCF-Sports, J-HMDB och UCF101 detektionsdata visar att vår strategi överträffar den senaste tekniken med en betydande marginal i både framemAP och video-mAP.
Peng och Schmid REF införlivade ett system med flera regioner i modellen Snabbare R-CNN, som ger kompletterande information om kroppsdelar för att förfina åtgärdsplatserna, och antog en länkningsmetod för att ansluta ram-nivå detektioner.
Multi-region two-stream R-CNN for action detection
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}