Djupa neurala nätverk fungerar ofta bra när de är överparameteriserade och tränas med en massiv mängd buller och legalisering, såsom vikt förfall och avhopp. Även om avhopp ofta används som en regulariseringsteknik för fullt anslutna lager, är det ofta mindre effektivt för konvolutionslager. Denna brist på framgång för avhopp för konvolutionella skikt beror kanske på det faktum att aktiveringsenheter i konvolutionslager är rumsligt korrelerade så att information fortfarande kan flöda genom konvolutionella nätverk trots avhopp. Därför behövs en strukturerad form av avhopp för att reglera konvolutionsnätverken. I detta dokument introducerar vi DropBlock, en form av strukturerad avhopp, där enheter i en sammanhängande region av en funktionskarta släpps tillsammans. Vi fann att tillämpa DropbBlock i hoppa anslutningar utöver de convolution lager ökar noggrannheten. Dessutom leder gradvis ökande antal nedsläppta enheter under träningen till bättre noggrannhet och mer robusta till hyperparameterval. Omfattande experiment visar att DropBlock fungerar bättre än avhopp i legalisering av konvolutionella nätverk. På ImageNet klassificering, ResNet-50 arkitektur med DropBlock uppnår 78.13% noggrannhet, vilket är mer än 1,6% förbättring jämfört med baslinjen. Vid COCO-detektion förbättrar DropBlock genomsnittlig precision av RetinaNet från 36,8 % till 38,4 %.
DropBlock REF ) slumpmässigt kasta områden i convolution lager medan dropout används normalt i fullt anslutna lager efter convolution lager.
DropBlock: A regularization method for convolutional networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}