Batch Normalization (BN) har visat sig vara en effektiv algoritm för djup neural nätverk utbildning genom att normalisera inmatningen till varje neuron och minska den interna kovariat skifte. Utrymmet för viktvektorer i BN-skiktet kan naturligt tolkas som en Riemannian grenrör, som är invariant till linjär skalning av vikter. Efter den inneboende geometrin av detta grenrör ger en ny inlärningsregel som är mer effektiv och lättare att analysera. Vi föreslår också intuitiva och effektiva gradient klippning och regulariseringsmetoder för den föreslagna algoritmen genom att använda geometrin hos grenröret. Den resulterande algoritmen överträffar konsekvent den ursprungliga BN på olika typer av nätverksarkitekturer och datauppsättningar.
Cho och Lee betraktar viktutrymmet i ett BN-lager som ett Riemannskt grenrör och ger en ny inlärningsregel efter den inneboende geometrin i detta grenrör REF.
Riemannian approach to batch normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}