Orthogonal matris har visat fördelar i utbildning Recurrent Neural Networks (RNNs), men sådan matris är begränsad till att vara fyrkantig för den dolda-till-dolda omvandlingen i RNNs. I detta papper generaliserar vi sådan fyrkantig ortogonal matris till ortogonal rektangulär matris och formulerar detta problem i feedforward Neural Networks (FNNs) som optimering över flera beroende Stiefel Manifolds (OMDSM). Vi visar att den rektangulära ortogonala matrisen kan stabilisera distributionen av nätverksaktiveringar och reglera FNN. Vi föreslår också en ny ortogonal normaliseringsmetod för att lösa OMDSM. Speciellt konstrueras ortogonal omvandling över proxyparametrar för att säkerställa att viktmatrisen är ortogonal och bakåtpropagat gradient information genom omvandlingen under träning. För att garantera stabilitet minimerar vi förvrängningarna mellan proxyparametrar och kanoniska vikter över alla dragbara ortogonala omvandlingar. Dessutom designar vi en ortogonal linjär modul (OLM) för att lära sig ortogonala filterbanker i praktiken, som kan användas som ett alternativ till standard linjär modul. Omfattande experiment visar att genom att helt enkelt ersätta OLM med standard linjär modul utan att revidera några experimentella protokoll, förbättrar vår metod till stor del prestandan för de toppmoderna nätverken, inklusive Inception och resterande nätverk på CIFAR och ImageNet dataset. I synnerhet har vi minskat testfelet för ett brett restnät på CIFAR-100 från 20.04% till 18.61% med en sådan enkel substitution. Vår kod finns tillgänglig online för resultatåtergivning.
Huang m.fl. REF generaliserade Stiefel mångfaldiga egendom och formulerade en optimering över flera beroende Stiefel Manifolds (OMDSM) problem för att övervinna detta problem.
Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}