Abstrakt. Under de senaste åren, betydande uppmärksamhet har ägnats åt stokastisk utbildning av artificiella neurala nätverk, som är känt som en effektiv legalisering metod som hjälper till att förbättra generalisering förmåga utbildade modeller. I detta arbete används metoden med modifierade ekvationer för att visa att restnätet och dess varianter med bullerinsprutning kan betraktas som svaga approximationer av stokastiska differentialekvationer. Sådana observationer gör att vi kan överbrygga de stokastiska träningsprocesserna med optimal kontroll av bakåt Kolmogorovs ekvationer. Detta ger inte bara ett nytt perspektiv på effekterna av legalisering ur förlustlandskapets synvinkel utan belyser också utformningen av mer tillförlitliga och effektiva stokastiska utbildningsstrategier. Som exempel föreslår vi ett nytt sätt att utnyttja Bernoulli dropout inom den enkla kvarvarande nätverksarkitekturen och genomföra experiment på en verklig bildklassificeringsuppgift för att underbygga våra teoretiska rön. 1. Vad är det för fel på dig? Inledning. Artificiella neurala nätverk visas som den senaste tekniken i många maskininlärning uppgifter inklusive, men inte begränsat till, datorseende, taligenkänning och behandling av naturligt språk [20, 29], bland vilka restnätverket (ResNet) och dess många varianter (se [9, 7, 14, 25, 36] och referenser som nämns där) har dragit till sig stor uppmärksamhet för sin enkelhet och effektivitet. Dessutom gör ResNet det möjligt att träna upp till hundratals eller till och med tusentals lager utan prestandanedbrytning [10]. Men djupare nätverk kräver vanligtvis omfattande utbildning, vilket hindrar deras realtidstillämpningar. För att kringgå denna fråga och förbättra den allmänna förmågan hos utbildade modeller, har användningen av stokastiska utbildningsmetoder blivit utbredd i djupt lärande samhället [15, 25]. Tyvärr är designen av den dataorienterade nätverksarkitekturen för verkliga inlärningsproblem ofta mer konst än vetenskap, t.ex., insprutning av avhoppsskiktet i ResNet-liknande modeller [10, 36], inställning av avhoppsannolikheten och modellhyperparametrar [15, 32], etc. Som sådan, de senaste studierna har koncentrerat sig på den kontinuerliga tidsdynamiken av ResNets via (stochastic) modifierade ekvationer [24, 25, 35], vilket är mycket önskvärt
Sol och al. REF modellerad utbildning av ResNets som lösning på en stokastisk differentialekvation.
Stochastic Training of Residual Networks: a Differential Equation Viewpoint
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}