Konvolutionella neurala nätverk (CNN) har betraktats som en kraftfull klass av modeller för visuella igenkänningsproblem. Icke desto mindre är konvolutionsfiltren i dessa nätverk lokala verksamheter samtidigt som man bortser från det stora beroendet. Denna nackdel blir ännu värre, särskilt för videoigenkänning, eftersom video är en informationsintensiv media med komplexa tidsvariationer. I detta dokument presenterar vi en ny ram för att öka den spatio-temporala representationen lärande av lokala och globala diffusion (LGD). Speciellt konstruerar vi en ny neural nätverksarkitektur som lär sig de lokala och globala representationerna parallellt. Arkitekturen består av LGD-block, där varje block uppdaterar lokala och globala funktioner genom att modellera spridningarna mellan dessa två representationer. Diffusioner interagerar effektivt två aspekter av information, d.v.s. lokaliserad och holistisk, för ett mer kraftfullt sätt att representera lärande. Dessutom införs en coreized classifier för att kombinera representationerna från två aspekter för videoigenkänning. Våra LGD-nätverk uppnår tydliga förbättringar på de storskaliga Kinetics-400 och Kinetics-600 video klassificering dataset mot de bästa konkurrenterna med 3,5% och 0,7%. Vi undersöker vidare generaliseringen av både de globala och lokala representationer som produceras av våra förtränade LGD-nätverk på fyra olika riktmärken för igenkänning av videoåtgärder och spatio-temporala aktionsdetekteringsuppgifter. Överlägsen prestanda jämfört med flera toppmoderna tekniker på dessa riktmärken rapporteras.
LGD REF lär sig lokal och global representation av LGD-block med diffusionsoperationer.
Learning Spatio-Temporal Representation With Local and Global Diffusion
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}