Djupa neurala nätverk med skip-anslutningar, såsom ResNet, visar utmärkt prestanda i olika bild klassificering riktmärken. Det konstateras dock att den ursprungliga motivationen bakom dem - utbildning djupare nätverk - faktiskt inte stämmer, och fördelarna kommer från ökad kapacitet, snarare än från djupet. Motiverad av detta, och inspirerad av ResNet, föreslår vi en enkel Dirac viktparameterisering, som gör att vi kan träna mycket djupa enkla nätverk utan skip-anslutningar, och uppnå nästan samma prestanda. Denna parameterisering har en mindre beräkningskostnad vid träningstid och ingen kostnad alls vid slutsatsen. Vi kan uppnå 95,5% noggrannhet på CIFAR-10 med 34-lagers djuplätt nätverk, överträffa 1001-lager djup ResNet, och närmar Wide ResNet. Vår parameterisering eliminerar också mestadels behovet av noggrann initiering i kvarvarande och icke-restuella nätverk. Koden och modellerna för våra experiment finns på https://github.com/szagoruyko/diracnets
Zagoruyko m.fl. REF föreslog DiracNets som implicit använder hopkopplingar för att träna mycket djupa neurala nätverk.
DiracNets: Training Very Deep Neural Networks Without Skip-Connections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}