Batch Normalization (BatchNorm) är en allmänt accepterad teknik som möjliggör snabbare och stabilare utbildning av djupa neurala nätverk (DNNs). Trots sin genomtränglighet är de exakta orsakerna till BatchNorms effektivitet fortfarande dåligt förstådda. Den allmänna uppfattningen är att denna effektivitet härrör från att styra förändringen av lagrens ingångsdistributioner under träningen för att minska det så kallade interna kovariatskiftet. I detta arbete visar vi att sådan distributionsstabilitet av lageringångar har föga att göra med framgången för BatchNorm. Istället upptäcker vi en mer grundläggande inverkan av BatchNorm på träningsprocessen: det gör optimeringslandskapet betydligt smidigare. Denna jämnhet framkallar ett mer förutsägbart och stabilt beteende i gradienterna, vilket möjliggör snabbare träning.
REF 33] visar att normaliseringar kan minska Lipschitz-konstanterna av förlusten och lutningarna, vilket gör träningen enklare och snabbare.
How Does Batch Normalization Help Optimization?
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}