Avhopp har bevittnats med stor framgång i utbildning djupa neurala nätverk genom att självständigt nollställa utdata av neuroner på måfå. Det har också fått en våg av intresse för ytligt lärande, t.ex. logistisk regression. Den oberoende provtagningen för avhopp kan dock vara ooptimal för konvergensens skull. I detta dokument föreslår vi att man använder multinomisk provtagning för avhopp, dvs. provtagningsfunktioner eller neuroner enligt en multinomal fördelning med olika sannolikheter för olika funktioner/neuroner. För att kunna uppvisa den optimala avhoppsannolikheten analyserar vi det ytliga lärandet med multinomiell avhoppning och fastställer risken för stokastisk optimering. Genom att minimera en provtagningsberoende faktor i riskbindningen får vi ett distributionsberoende avhopp med sannolikhet för provtagning beroende på andra ordningens statistik över datadistributionen. För att ta itu med frågan om neuronernas utveckling i djup inlärning föreslår vi en effektiv adaptiv avhoppning (som kallas evolutionell avhopp) som beräknar sannolikheten för provtagning på flykt från en minimatch av exempel. Empiriska studier av flera referensdataset visar att de föreslagna avhoppen inte bara uppnår mycket snabbare konvergens utan också ett mindre testfel än standardavhoppet. När det till exempel gäller CIFAR-100-data uppnår evolutionsavhoppet relativa förbättringar på över 10 % av prognosresultaten och över 50 % av konvergenshastigheten jämfört med standardavhoppet.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. REF föreslås använda multinomisk provtagning för avhopp, dvs. hålla neuroner enligt en multinomal fördelning med specifika sannolikheter för olika neuroner.
D ec 2 01 6 Improved Dropout for Shallow and Deep Learning