Det är ett känt faktum att utbildning återkommande neurala nätverk för uppgifter som har långsiktiga beroenden är utmanande. En av de främsta orsakerna är den försvinnande eller exploderande gradient problem, som förhindrar gradient information från att sprida sig till tidiga skikt. I detta dokument föreslår vi en enkel återkommande arkitektur, Fourier Recurrent Unit (FRU), som stabiliserar de lutningar som uppstår i dess träning samtidigt som vi ger oss starkare uttryckskraft. FRU sammanfattar specifikt de dolda tillstånden h (t) längs den timliga dimensionen med Fourier basfunktioner. Detta gör det möjligt för gradienter att enkelt nå vilket lager som helst på grund av FRU:s återstående inlärningsstruktur och det globala stödet för trigonometriska funktioner. Vi visar att FRU har lutning lägre och övre gränser oberoende av temporal dimension. Vi visar också den starka expressiviteten av glesare Fourier bas, från vilken FRU får sin starka uttryckskraft. Vår experimentella studie visar också att med färre parametrar överträffar den föreslagna arkitekturen andra återkommande arkitekturer på många uppgifter.
I REF föreslogs en Fourier Recurrent Unit (FRU) där de dolda tillstånden över tiden sammanfattas med Fourier basfunktioner och lutningarna begränsas.
Learning Long Term Dependencies via Fourier Recurrent Units
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}