Den explosiva tillväxten i videostreaming ger upphov till utmaningar när det gäller att utföra video förståelse med hög noggrannhet och låga beräkningskostnader. Konventionella 2D CNN är beräknings billigt men kan inte fånga tidsförhållanden; 3D CNN-baserade metoder kan uppnå bra prestanda men är beräkningsintensiva, vilket gör det dyrt att använda. I detta dokument föreslår vi en generisk och effektiv Temporal Shift Module (TSM) som har både hög effektivitet och hög prestanda. Specifikt kan det uppnå prestanda för 3D CNN men upprätthålla 2D CNN: s komplexitet. TSM skiftar en del av kanalerna längs den timliga dimensionen, vilket underlättar information som utbyts mellan angränsande ramar. Den kan infogas i 2D CNN för att uppnå tidsbaserad modellering vid nollberäkning och nollparametrar. Vi utökade även TSM till online-inställningar, vilket möjliggör videoigenkänning och upptäckt av videoobjekt i realtid med låg latens. TSM är korrekt och effektiv: det rankas första plats på något-någonting leaderboard vid publicering; på Jetson Nano och Galaxy Note8, det uppnår en låg latens på 13 ms och 35 ms för online videoigenkänning. Koden finns på https://github. CO/mit-han-lab/temporal-shift-modul.
Den senaste metoden TSM (Temporal Shift Module) REF skifta en del av kanalerna längs tidsdimensionen för effektiv tidsbaserad modellering.
TSM: Temporal Shift Module for Efficient Video Understanding
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}