I detta dokument föreslås användning av spektralelement metoder (Canuto et al., 1988) för snabb och noggrann utbildning av Neural Ordinary Differentialekvationer (ODE-Nets; Chen et al., 2018). Detta uppnås genom att uttrycka deras dynamik som trunkerad serie av Legendre polynomials. Seriekoefficienterna, liksom nätverksvikterna, beräknas genom att minimera den viktade summan av förlustfunktionen och kränkningen av ODE-Net dynamiken. Problemet löses genom koordinat nedstigning som växelvis minimerar, med avseende på koefficienter och vikter, två okonstruerade subproblem med hjälp av standard backpropagation och lutningsmetoder. Det resulterande optimeringsschemat är fullt tid-parallell och resulterar i ett lågt minnesavtryck. Experimentell jämförelse med standardmetoder, såsom backpropagation genom explicita lösare och angränsande teknik (Chen et al., 2018), om utbildning surrogat modeller av små och medelstora dynamiska system visar att det är minst en storleksordning snabbare att nå ett jämförbart värde av förlustfunktionen. MSE-testningen är en storleksordning som också är mindre, vilket tyder på att generaliseringskapaciteten ökar.
Också i REF, författarna föreslog SNet som accelererar neural ODEs genom att uttrycka sin dynamik som trunkated serie av Legendre polynomials.
Accelerating Neural ODEs with Spectral Elements.
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}