Vi introducerar en ny familj av djupa neurala nätverksmodeller. Istället för att ange en diskret sekvens av dolda lager, vi parameterisera derivatan av det dolda tillståndet med hjälp av ett neuralt nätverk. Utgången från nätverket beräknas med hjälp av en differentialekvator för blackbox. Dessa kontinuerliga djupgående modeller har konstanta minneskostnader, anpassar sin utvärderingsstrategi till varje inmatning och kan uttryckligen byta sifferprecision för hastighet. Vi demonstrerar dessa egenskaper i kontinuerliga resterande nätverk och latenta modeller med kontinuerlig tid. Vi konstruerar också kontinuerliga normaliserande flöden, en generativ modell som kan tränas med största sannolikhet, utan att dela upp eller beställa datamåtten. För utbildning, visar vi hur man skalbart bakåtpropagate genom någon ODE lösare, utan tillgång till sin interna verksamhet. Detta möjliggör end-to-end utbildning av ODS inom större modeller.
Med hjälp av en neural ODE REF, Vi kan därför lära oss en funktion av systemet av ODEs.
Neural Ordinary Differential Equations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}