De flesta av de översta som utför åtgärdsigenkänning metoder använder optiskt flöde som en "svart låda" ingång. Här tar vi en djupare titt på kombinationen av flöde och åtgärdsigenkänning, och undersöker varför optiskt flöde är till hjälp, vad som gör en flödesmetod bra för åtgärdsigenkänning, och hur vi kan göra det bättre. I synnerhet undersöker vi effekten av olika flödesalgoritmer och indatatransformationer för att bättre förstå hur dessa påverkar en toppmodern åtgärdsigenkänningsmetod. Dessutom finjusterar vi två neurala nätverksflödesmetoder end-to-end på den mest använda igenkänningsdatauppsättningen (UCF101). Baserat på dessa experiment, gör vi följande fem observationer: 1) optiskt flöde är användbart för åtgärdsigenkänning eftersom det är invariant till utseende, 2) optiska flödesmetoder optimeras för att minimera slutpunkt-terror (EPE), men EPE av aktuella metoder är inte väl korrelerad med åtgärdsigenkänning prestanda, 3) för de flödesmetoder som testats, noggrannhet vid gränser och vid små förskjutningar är mest korrelerad med åtgärdsigenkänning prestanda, 4) utbildning optiskt flöde för att minimera klassificering fel i stället för att minimera EPE förbättrar igenkännande prestanda, och 5) optiskt flöde lärt för uppgiften att åtgärdsigenkänning skiljer sig från traditionellt optiskt flöde särskilt inuti människokroppen och vid gränsen för kroppen. Dessa observationer kan uppmuntra forskare inom optiskt flöde att se bortom EPE som ett mål och vägleda forskare att söka bättre motionslinjer, vilket leder till en bättre integrering av det optiska flödet och igenkänningsgrupper för åtgärder.
Sevilla-Lara m.fl. REF försökte också tolka korrelationerna mellan det optiska flödet och resultaten från åtgärdsigenkänningen, när det gäller CNN-modellen som en "svart låda".
On the Integration of Optical Flow and Action Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}