Tvålinjär sammanslagning av Convolutional Neural Network (CNN) funktioner [22, 23], och deras kompakta varianter [10], har visat sig vara effektiva vid finkornig igenkänning, scen kategorisering, texturigenkänning och visuella frågor-svar uppgifter bland annat. Den resulterande representationen fångar andra ordningens statistik över konvolutionella egenskaper på ett översättningsmässigt invariantt sätt. I detta dokument undersöker vi olika sätt att normalisera denna statistik för att förbättra deras representationsstyrka. I synnerhet finner vi att matrisen kvadrat-rot normalisering erbjuder betydande förbättringar och överträffar alternativa system såsom matris logaritm normalisering i kombination med elementvis kvadrat-rot och 2 normalisering. Detta förbättrar noggrannheten med 2-3% på en rad finkorniga igenkänningsdata som leder till ett nytt toppmodernt. Vi undersöker också hur noggrannheten i matrisfunktionsberäkningar påverkar nätverksträning och utvärdering. I synnerhet jämför vi mot en teknik för att uppskatta matris fyrkantiga gradienter genom att lösa en Lyapunov ekvation som är mer numeriskt exakt än datorgradienter via en Singular Value Decomposition (SVD). Vi finner att även om SVD-gradienter är numeriskt felaktiga är den totala effekten på den slutliga noggrannheten försumbar när gränsfall hanteras försiktigt. Vi presenterar ett alternativt system för att beräkna lutningar som är snabbare och ändå erbjuder det förbättringar jämfört med baslinjemodellen. Slutligen visar vi att matrisen kvadratrot beräknas ungefär med hjälp av några Newton iterationer är precis lika exakt för klassificeringen uppgift men tillåter en ordning-av-magnitud snabbare GPU genomförande jämfört med SVD nedbrytning.
REF införde statistiska normaliseringsmetoder för att förbättra en arkitektur som kan fånga andra ordningens statistik över konvolutionella funktioner på ett översättningsmässigt invariantt sätt.
Improved Bilinear Pooling with CNNs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}