Djupa neurala nätverk har blivit toppmoderna modeller i många maskininlärningsuppgifter. Det saknas dock fortfarande allmän vägledning för utformning av nätverksarkitektur. I vårt arbete överbrygger vi djup neural nätverksdesign med numeriska differentialekvationer. Vi visar att många effektiva nätverk, såsom ResNet, PolyNet, FractalNet och RevNet, kan tolkas som olika numeriska diskretiseringar av differentialekvationer. Detta fynd ger oss ett helt nytt perspektiv på utformningen av effektiva djupa arkitekturer. Vi kan dra nytta av den rika kunskapen i numerisk analys för att vägleda oss i att utforma nya och potentiellt mer effektiva djupa nätverk. Som exempel föreslår vi en linjär flerstegsarkitektur (LM-arkitektur) som inspireras av den linjära flerstegsmetoden som löser vanliga differentialekvationer. LM-arkitekturen är en effektiv struktur som kan användas på alla ResNet-liknande nätverk. I synnerhet visar vi att LM-ResNet och LM-ResNeXt (dvs. De nät som erhålls genom tillämpning av LM-arkitekturen på ResNet respektive ResNeXt) kan uppnå märkbart högre noggrannhet än ResNet och ResNeXt på både CIFAR och ImageNet med jämförbara antal utbildningsbara parametrar. På både CIFAR och ImageNet kan LM-ResNet/LM-ResNeXt avsevärt komprimera de ursprungliga nätverken (> 50 %) samtidigt som en liknande prestanda upprätthålls. Detta kan förklaras matematiskt med hjälp av begreppet modifierad ekvation från numerisk analys. Sist men inte minst etablerar vi också ett samband mellan stokastisk styrning och bullerinsprutning i utbildningsprocessen som bidrar till att förbättra generaliseringen av nätverken. Genom att relatera stokastisk utbildningsstrategi med stokastiskt dynamiskt system kan vi dessutom enkelt tillämpa stokastisk utbildning på nätverken med LM-arkitekturen. Som ett exempel introducerade vi stokastiskt djup till LM-ResNet och uppnå betydande förbättringar jämfört med det ursprungliga LM-ResNet på CIFAR10.
REF visade också att flera populära nätverksarkitekturer kunde tolkas som diskretisering av en kontinuerlig ODE.
Beyond Finite Layer Neural Networks: Bridging Deep Architectures and Numerical Differential Equations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}