Djupa kvarvarande nätverk [1] har framträtt som en familj av extremt djupa arkitekturer som visar övertygande noggrannhet och fina konvergensbeteenden. I detta dokument analyserar vi förökningsformuleringarna bakom restbyggstenarna, vilket tyder på att framåt- och bakåtsignalerna kan spridas direkt från ett block till vilket annat block som helst, när identitetskartläggningar används som hoppanslutningar och aktivering efter addition. En rad ablation experiment stöder betydelsen av dessa identitetskartläggningar. Detta motiverar oss att föreslå en ny restenhet, vilket ytterligare gör utbildningen enkel och förbättrar generaliseringen. Vi rapporterar förbättrade resultat med hjälp av ett 1001-lagers ResNet på CIFAR-10 (4,62% fel) och CIFAR-100, och ett 200-lagers ResNet på ImageNet. Koden finns på https://github.com/KaimingHe/resnet-1k-layers.
Dessutom kan ett djupt resterande nät med identity skip-connections REF representeras som:
Identity Mappings in Deep Residual Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}