På senare tid har det blivit allt vanligare att hoppa av skolan i förtid. För djupa konvolutionella neurala nätverk, avhopp är känd för att fungera bra i fullt anslutna lager. Dess effekt på konvolutions- och samlingsskikten är dock ännu inte klarlagd. Detta dokument visar att max-pooling avhopp är likvärdigt med slumpmässigt plocka aktivering baserat på en multinomial fördelning vid utbildningstid. Mot bakgrund av denna insikt förespråkar vi att vi använder vår föreslagna probabilistiska viktade pooling, i stället för allmänt använd max-pooling, för att fungera som modell medelvärde vid testtidpunkten. Empiriska bevis bekräftar den probabilistiska viktade sammanslagningens överlägsenhet. Vi visar också empiriskt att effekten av konvolutionell avhopp inte är trivial, trots den dramatiskt minskade möjligheten att överbestämma på grund av den konvolutionella arkitekturen. Utarbetad avhoppsutbildning samtidigt i max-pooling och fullt anslutna lager, uppnår vi toppmodern prestanda på MNIST, och mycket konkurrenskraftiga resultat på CIFAR-10 och CIFAR-100, i förhållande till andra metoder utan dataförstärkning. Slutligen jämför vi max-pooling dropout och stochastic pooling, som båda introducerar stokasticitet baserat på multinomial distributioner i pooling skede.
Omvänt, Wu och Gu REF studerade effekten av avhopp i convolutional och pooling lager.
Towards Dropout Training for Convolutional Neural Networks
{'venue': 'Neural Networks 71: 1-10 (2015)', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}