För att förstå de grundläggande kompromisserna mellan utbildningsstabilitet, temporal dynamik och arkitektonisk komplexitet av återkommande Neural Networks (RNNs), vi direkt * yuezhenniu@gmail.com arXiv:1904.12933v1 [cs.LG] 29 Apr 2019 analysera RNN arkitekturer med hjälp av numeriska metoder för vanliga differentialekvationer (ODEs). Vi definierar en allmän familj av RNNs-The ODERNs-genom att relatera RNNs sammansättningsregler till integrationsmetoder för ODEs vid diskreta tidpunkter. Vi visar att graden av RNN:s funktionella icke-linjäritet n och intervallet för dess temporalminne t kan kartläggas till motsvarande stadium av Runge-Kutta rekursion och ordningen av tidtagning av ODEs. Vi bevisar att populära RNN arkitekturer, såsom LSTM och URNN, passar in i olika klasser av n-t-ODERNNs. Denna exakta överensstämmelse mellan RNN och ODE hjälper oss att skapa tillräckliga förutsättningar för RNN-träningsstabilitet och underlättar mer flexibla top-down-designer av nya RNN-arkitekturer med hjälp av stora varianter av verktygslådor från numerisk integration av ODE. Vi ger ett sådant exempel: Quantum-inspirerade Universal computing Neural Network (QUNN), vilket minskar det antal träningsparametrar som krävs från polynom i både datalängd och temporal minneslängd till endast linjär i temporal minneslängd.
REF analyserade RNN-arkitekturer med hjälp av numeriska metoder för ODE och föreslog en familj av ODE-RNNs.
Recurrent Neural Networks in the Eye of Differential Equations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Physics']}