CNN-kodningen av funktioner från hela videor för att representera mänskliga handlingar har sällan tagits upp. Istället har CNN-arbetet fokuserat på metoder för säkring av rumsliga och temporala nätverk, men dessa var vanligtvis begränsade till att bearbeta kortare sekvenser. Vi presenterar en ny videorepresentation, kallad temporal linjär kodning (TLE) och inbäddad inuti CNNs som ett nytt lager, som fångar utseende och rörelse genom hela videor. Den kodar denna aggregerade information till en robust videofunktion representation, via end-to-end lärande. Fördelar med TLE är: a) de kodar hela videon till en kompakt funktion representation, lära semantik och en diskriminerande funktion utrymme; b) de är tillämpliga på alla typer av nätverk som 2D och 3D CNNs för video klassificering; och c) de modellerar har interaktioner på ett mer uttrycksfullt sätt och utan förlust av information. Vi utför experiment på två utmanande mänskliga actiondataset: HMDB51 och UCF101. Experimenten visar att TLE överträffar nuvarande toppmoderna metoder på båda datauppsättningarna.
För att fånga sambanden mellan videounderklippen kodar den tidsbundna linjära kodningen (TLE) REF den aggregerade informationen för K (dvs. K = 3) klipp/ramar till en videofunktionsrepresentation genom att utföra elementvis multiplikation av funktionerna i klippen/ramarna.
Deep Temporal Linear Encoding Networks
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}