Nyligen har det funnits ett stort intresse för att bygga kompakta modeller för videoklassificering som har ett litet minnesavtryck (< 1 GB) [16]. Medan dessa modeller är kompakta, fungerar de vanligtvis genom upprepad tillämpning av en liten vikt matris till alla ramar i en video. Till exempel, återkommande neurala nätverk baserade metoder beräkna ett dolt tillstånd för varje bild med hjälp av en återkommande vikt matris. På samma sätt har kluster-och-aggregat baserade metoder som NetVLAD en lärbar klustermatris som används för att tilldela mjuk-kluster till varje ram i videon. Eftersom dessa modeller tittar på varje bildruta i videon är antalet flyttalsoperationer (FLOPs) fortfarande stort trots att minnesavtrycket är litet. I detta arbete fokuserar vi på att bygga beräkningseffektiva videoklassificeringsmodeller som behandlar färre ramar och därmed har färre FLOP. I likhet med minneseffektiva modeller använder vi idén om destillation, om än i en annan miljö. Särskilt, i vårt fall, en beräkna-tunga lärare som tittar på alla ramar i videon används för att utbilda en beräkna-effektiv student som bara tittar på en liten bråkdel av ramar i videon. Detta är i kontrast till en typisk minne effektiv lärar-Student inställning, där i både läraren och eleven titta på alla ramar i videon men studenten har färre parametrar. Vårt arbete kompletterar därmed forskningen om minneseffektiv videoklassificering. Vi gör en omfattande utvärdering med tre typer av modeller för videoklassificering, viz., i) återkommande modeller (ii) kluster-och-aggregerade modeller och (iii) minneseffektiva kluster-och-aggregerade modeller och visar att i var och en av dessa fall, en se-it-all lärare kan användas för att utbilda en beräkna effektiv se-mycket liten elev. Sammantaget visar vi att det föreslagna studentnätverket kan minska inferenstiden med 30 % och antalet FLOP med cirka 90 % med en försumbar minskning av prestandan.
Bhardwaj m.fl. REF föreslår att lära en student återkommande neurala nätverk som kan klassificera en video med färre ramar.
Efficient Video Classification Using Fewer Frames
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}