Det är välkänt att det är utmanande att träna djupa neurala nätverk och återkommande neurala nätverk för uppgifter som uppvisar långsiktiga beroenden. Problemet med att försvinna eller explodera är ett välkänt problem i samband med dessa utmaningar. En metod för att ta itu med försvinnande och exploderande gradienter är att använda antingen mjuka eller hårda begränsningar på viktmatriser för att uppmuntra eller genomdriva ortogonalitet. Ortogonal matriser bevara lutning norm under backförökning och kan därför vara en önskvärd egenskap. Detta papper undersöker problem med optimering konvergens, hastighet och lutning stabilitet när uppmuntra eller genomdriva ortogonalitet. För att utföra denna analys föreslår vi en viktmatris factorization och parameterization strategi genom vilken vi kan binda matris normer och däri kontrollera graden av expansivitet som induceras under backpropagation. Vi finner att hårda begränsningar av ortogonaliteten kan påverka konvergenshastigheten och modellens prestanda negativt.
Vorontsov REF förespråkar mjuka begränsningar av ortogonalitet när de finner att hårda begränsningar av ortogonalitet kan påverka konvergenshastigheten och modellens prestanda negativt.
On orthogonality and learning recurrent networks with long term dependencies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}