Denna uppsats försöker besvara frågan: som (nära) ortogonalitet av vikter anses vara en gynnsam egenskap för att träna djupa konvolutionella neurala nätverk, hur kan vi genomdriva det på mer effektiva och lättanvända sätt? Vi utvecklar nya ortogonalitetsregleringar på utbildning av djupa CNNs, med hjälp av olika avancerade analytiska verktyg såsom ömsesidig samstämmighet och begränsad isometry egenskap. Dessa plug-and-play legaliseringar kan enkelt införlivas i träning nästan alla CNN utan extra krångel. Vi jämför sedan deras effekter på toppmoderna modeller: ResNet, WideResNet och ResNeXt, på flera av de mest populära datamängderna för datorseende: CIFAR-10, CIFAR-100, SVHN och ImageNet. Vi observerar konsekventa resultatvinster efter tillämpning av de föreslagna legaliseringarna, både när det gäller de slutliga säkerheterna som uppnåtts, och snabbare och stabilare konvergenser. Vi har gjort våra koder och färdiga modeller tillgängliga för allmänheten. 1................................................................
Bansal REF m.fl. vidare utvecklat ortogonala legaliseringar genom att utnyttja ömsesidig samstämmighet och begränsad isometry egendom.
Can We Gain More from Orthogonality Regularizations in Training Deep CNNs?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}