Abstrakt. Lokala funktioner på närliggande rumsliga positioner i funktionskartor har hög korrelation eftersom deras mottagliga fält ofta överlappar varandra. Självuppmärksamhet brukar använda den viktade summan (eller andra funktioner) med interna delar av varje lokal funktion för att få sin vikt poäng, som ignorerar interaktioner mellan lokala funktioner. För att ta itu med detta föreslår vi en effektiv interaktionsmedveten självuppmärksamhetsmodell inspirerad av PCA för att lära sig uppmärksamhetskartor. Dessutom, eftersom olika lager i ett djupt nätverk fånga funktionskartor av olika skalor, använder vi dessa funktionskartor för att konstruera en rumslig pyramid och sedan använda flerskalig information för att få mer exakt uppmärksamhet poäng, som används för att väga de lokala funktionerna i alla rumsliga positioner av funktionskartor för att beräkna uppmärksamhetskartor. Dessutom är vår rumsliga pyramid uppmärksamhet obegränsad till antalet av dess inmatningsfunktioner kartor så det är lätt utvidgas till en spatiotemporal version. Slutligen är vår modell inbäddad i allmänna CNNs för att bilda end-to-end uppmärksamhet nätverk för åtgärdsklassificering. Experimentella resultat visar att vår metod uppnår toppmoderna resultat på UCF101, HMDB51 och otrimmade Charader.
Interaktion-medveten pyramid REF introducerar också uppmärksamhet på nätverket för modellering av långdistansförhållande.
Interaction-aware Spatio-temporal Pyramid Attention Networks for Action Classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}