Det finns två allmänt kända problem med korrekt utbildning Recurrent Neural Networks, de försvinnande och exploderande gradient problem som beskrivs i Bengio et al. (1994)................................................................. I detta dokument försöker vi förbättra förståelsen av de underliggande frågorna genom att undersöka dessa problem ur ett analytiskt, geometriskt och dynamiskt systemperspektiv. Vår analys används för att motivera en enkel men effektiv lösning. Vi föreslår en lutning norm clipping strategi för att hantera exploderande gradienter och en mjuk begränsning för de försvinnande gradienter problem. Vi validerar empiriskt vår hypotes och förslag till lösningar i det experimentella avsnittet.
I REF, en lutning norm clipping strategi föreslås att ta itu med de exploderande gradienter problem, och använde en legalisering term som hindrar felsignalen från att försvinna när den reser tillbaka i tiden för att lindra den försvinnande gradient begränsningen.
On the difficulty of training Recurrent Neural Networks
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}