Global covariance pooling i konvolutionella neurala nätverk har uppnått imponerande förbättring över den klassiska första ordningen pooling. Nya verk har visat matris kvadratrot normalisering spelar en central roll för att uppnå state-of-the-art prestanda. Befintliga metoder är dock starkt beroende av Eigendecomposition (EIG) eller singular value decomposition (SVD), som lider av ineffektiv utbildning på grund av begränsat stöd från EIG och SVD på GPU. För att ta itu med detta problem föreslår vi en iterativ matris kvadratrot normalisering metod för snabb end-toend utbildning av globala covariance pooling nätverk. Kärnan i vår metod är ett metalager konstruerat med loopbäddad riktad grafstruktur. Metaskiktet består av tre på varandra följande icke-linjära strukturerade skikt, som utför förnormalisering, kopplad matris iteration respektive efter kompensation. Vår metod är mycket snabbare än EIG eller SVD baserade, eftersom det endast innebär matris multiplikationer, lämplig för parallell implementering på GPU. Dessutom kan det föreslagna nätverket med ResNet arkitektur konvergera i mycket mindre epoker, ytterligare accelerera nätverk utbildning. På stora ImageNet uppnår vi en konkurrenskraftig prestanda som är överlägsen befintliga motsvarigheter. Genom att finjustera våra modeller förutbildade på ImageNet etablerar vi toppmoderna resultat på tre utmanande finkorniga riktmärken. Källkoden och nätverksmodellerna kommer att finnas tillgängliga på http://www.peihuali.org/iSQRT-COV.
iSQRT-COV REF föreslog iterativ matris kvadratrot normalisering för att få en bättre perfomance på GPU.
Towards Faster Training of Global Covariance Pooling Networks by Iterative Matrix Square Root Normalization
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}