Att lära sig fånga långa relationer är grundläggande för bild- och videoigenkänning. Befintliga CNN-modeller är i allmänhet beroende av ett ökat djup för att modellera sådana förbindelser som är mycket ineffektiva. I detta arbete föreslår vi "dubbel uppmärksamhet block", en ny komponent som aggregat och propagerar informativa globala funktioner från hela spatio-temporal utrymme för indata bilder / videos, vilket möjliggör efterföljande convolution lager för att få tillgång till funktioner från hela utrymmet effektivt. Komponenten är utformad med en dubbel uppmärksamhetsmekanism i två steg, där det första steget samlar funktioner från hela utrymmet i en kompakt uppsättning genom andra ordningen uppmärksamhet pooling och det andra steget adaptivt väljer och distribuerar funktioner till varje plats via en annan uppmärksamhet. Den föreslagna dubbla uppmärksamhet block är lätt att anta och kan anslutas till befintliga djupa neurala nätverk bekvämt. Vi utför omfattande ablationsstudier och experiment på både bild- och videoigenkänningsuppgifter för att utvärdera dess prestanda. På bildigenkänningsuppgiften, en ResNet-50 utrustad med vår dubbla uppmärksamhet blockerar överträffar en mycket större ResNet-152 arkitektur på ImageNet-1k dataset med över 40% mindre antal parametrar och mindre FLOPs. När det gäller uppgiften att erkänna åtgärder uppnår vår föreslagna modell de senaste resultaten på datauppsättningarna Kinetics och UCF-101 med betydligt högre effektivitet än de senaste arbetena.
På detta sätt uppnås också toppmoderna resultat när det gäller uppgifter om erkännande av videoåtgärder.
$A^2$-Nets: Double Attention Networks
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science']}