Nya studier har visat kraften i återkommande neurala nätverk för maskinöversättning, bildtext och taligenkänning. För uppgiften att fånga temporal struktur i video, dock finns det fortfarande många öppna forskningsfrågor. Nuvarande forskning föreslår att man använder en enkel tidsbetonad pooling strategi för att ta hänsyn till den tidsmässiga aspekten av video. Vi visar att denna metod inte är tillräcklig för gestigenkänning, där timlig information är mer diskriminerande jämfört med allmänna videoklassificeringsuppgifter. Vi utforskar djupa arkitekturer för gestigenkänning i video och föreslår en ny end-to-end trainingable neural nätverk arkitektur med temporal konvolutioner och dubbelriktad upprepning. Våra huvudsakliga bidrag är tvåfaldiga; för det första visar vi att återfall är avgörande för denna uppgift; för det andra visar vi att tillägg av tidskonflikter leder till betydande förbättringar. Vi utvärderar Kommunicerade av Greg Mori. A. van den Oord och S. Dieleman: Nu på Google DeepMind. B Lionel Pigou lioneel.pigou@ugent.be Aäron van den Oord de olika tillvägagångssätten på Montalbano gestigenkänning dataset, där vi uppnår state-of-the-art resultat.
RNN:er har visat sig lovande för uppgiften att erkänna gester i REF, men har inte visat några betydande förbättringar när det gäller den mer allmänna uppgiften att klassificera åtgärder.
Beyond Temporal Pooling: Recurrence and Temporal Convolutions for Gesture Recognition in Video
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}