Vi undersöker arkitekturer av discriminativt utbildade djupa Convolutional Networks (ConvNets) för åtgärdsigenkänning i video. Utmaningen är att fånga den kompletterande informationen om utseende från stillbildsramar och rörelse mellan ramar. Vi strävar också efter att i nätverksdesignen integrera aspekter av de bäst presterande handgjorda funktionerna. Vårt bidrag är trefaldigt. För det första föreslår vi en tvåströms ConvNet-arkitektur som innehåller rumsliga och tidsmässiga nätverk. För det andra visar vi att ett ConvNet utbildat på multi-frame tät optiskt flöde kan uppnå mycket bra prestanda trots begränsade träningsdata. Slutligen visar vi att multitask-inlärning, som tillämpas på två olika åtgärdsklassificeringsdatauppsättningar, kan användas för att öka mängden utbildningsdata och förbättra prestandan på båda. Vår arkitektur är utbildad och utvärderas på standard video åtgärder riktmärken för UCF-101 och HMDB-51, där det matchar den senaste tekniken. Det överstiger också med stor marginal tidigare försök att använda djupa nät för videoklassificering.
Till exempel, författarna i REF använder rörelsen i på varandra följande ramar för att extrahera information för åtgärdsigenkänning med hjälp av en två-stream ConvNet arkitektur som innehåller både rumsliga och temporal nätverk.
Two-Stream Convolutional Networks for Action Recognition in Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}