Neural Ordinary Differential Equation (Neural ODE) har föreslagits som en kontinuerlig approximation till ResNet arkitektur. Vissa används ofta legaliseringsmekanismer i diskreta neurala nätverk (t.ex. avhopp, Gaussian brus) saknas i nuvarande Neural ODE-nätverk. I detta dokument föreslår vi en ny kontinuerlig neurala nätverk ram som kallas Neural Stochastic Differential Equation (Neural SDE) nätverk, som naturligt innehåller olika vanliga regulariseringsmekanismer baserade på slumpmässiga bullerinsprutning. Vårt ramverk kan modellera olika typer av bullerinsprutning som ofta används i diskreta nätverk för legaliseringsändamål, såsom avhopp och additivt/multiplikativt buller i varje block. Vi tillhandahåller teoretisk analys som förklarar den förbättrade robustheten hos Neural SDE-modeller mot input perturbations/adversarial attacker. Dessutom visar vi att Neural SDE-nätverket kan uppnå bättre generalisering än Neural ODE och är mer motståndskraftigt mot kontradiktoriska och icke-adversariska indatastörningar.
I REF föreslog författarna den neurala stokastiska differentialekvationen (SDE) genom att injicera slumpmässigt brus till dynamiken funktion och visade att generaliseringen och robustheten av vanilj neural ODEs kunde förbättras.
Neural SDE: Stabilizing Neural ODE Networks with Stochastic Noise
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}