Two-stream konvolutional nätverk har visat stark prestanda i video åtgärder erkännande uppgifter. Den viktigaste idén är att lära sig spatiotemporala funktioner genom att sammanblanda konvolutionella nätverk rumsligt och temporalt. Det är dock fortfarande oklart hur korrelationerna mellan de rumsliga och tidsmässiga strukturerna ska modelleras på flera abstraktionsnivåer. Först tenderar den rumsliga strömmen att misslyckas om två videor delar liknande bakgrunder. För det andra kan den temporal ström luras om två åtgärder liknar i korta snippets, även om verkar vara distinkt på lång sikt. Vi föreslår en ny spatiotemporal pyramid nätverk för att sammansmälta rumsliga och temporal funktioner i en pyramid struktur så att de kan förstärka varandra. Ur arkitekturperspektiv utgör vårt nätverk hierarkiska fusionsstrategier som kan tränas som helhet med hjälp av en enhetlig spatiotemporal förlust. En rad ablation experiment stöder vikten av varje fusionsstrategi. Ur det tekniska perspektivet introducerar vi spatiotemporal kompaktbilineär operatör i videoanalysuppgifter. Denna operatör möjliggör effektiv utbildning av bilinjär fusionsverksamhet som kan fånga upp full interaktion mellan de rumsliga och tidsmässiga egenskaperna. Vårt slutliga nätverk uppnår toppmoderna resultat på vanliga videodataset.
I REF modellerar författarna korrelationer mellan två strömmar hierarkiskt genom kompakta bilinjära skikt på flera nivåer.
Spatiotemporal Pyramid Network for Video Action Recognition
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}