Det finns två allmänt kända problem med korrekt utbildning Recurrent Neural Networks, de försvinnande och exploderande gradient problem som beskrivs i Bengio et al. (1994)................................................................. I detta dokument försöker vi förbättra förståelsen av de underliggande frågorna genom att undersöka dessa problem ur ett analytiskt, geometriskt och dynamiskt systemperspektiv. Vår analys används för att motivera en enkel men effektiv lösning. Vi föreslår en lutning norm clipping strategi för att hantera exploderande gradienter och en mjuk begränsning för de försvinnande gradienter problem. Vi validerar empiriskt vår hypotes och förslag till lösningar i det experimentella avsnittet.
REF studerar betydelsen av spektralradien av viktmatriser i de försvinnande och exploderande gradientproblemen.
On the difficulty of training Recurrent Neural Networks
{'venue': None, 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}