Detta papper behandlar neurala nätverk som dynamiska system som styrs av ändliga skillnader ekvationer. Den visar att införandet av k-många hoppa anslutningar i nätverksarkitekturer, såsom restnät och additivt täta nätverk, definierar k th order dynamiska ekvationer på lagervisa omvandlingar. Slutna lösningar för de statliga utrymme representationer av allmänna k th order additiv täta nätverk, där konkatetering verksamheten ersätts med tillägg, samt k th ordning smidiga nätverk, hittas. Den utvecklade försörjningen ger djupa neurala nätverk med en algebraisk struktur. Dessutom visas att införandet k th ordning jämnhet på nätverk arkitekturer med d-många noder per lager ökar tillståndet utrymme dimension med en multipel av k, och så den effektiva inbäddning dimension datagrenröret av neurala nätverket är k · d-många dimensioner. Av detta följer att nätverksarkitekturer av dessa typer minskar antalet parametrar som behövs för att bibehålla samma inbäddningsdimension med en faktor på k 2 jämfört med ett motsvarande första ordningens resterande nät. Numeriska simuleringar och experiment på CIFAR10, SVHN och MNIST har genomförts för att hjälpa till att förstå den utvecklade teorin och effektiviteten hos de föreslagna begreppen.
REF utforskade den algebraiska strukturen hos neurala nätverk som styrs av finita skillnadsekvationer.
State Space Representations of Deep Neural Networks
{'venue': 'Neural Computation, Volume 31, Issue 3, March 2019, p.538-554', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science', 'Medicine']}