Batch Normalization (BN) är kapabel att accelerera utbildningen av djupa modeller genom att centrera och skala aktiveringar inom mini-batches. I detta arbete föreslår vi Dekorrelaterad Batch Normalization (DBN), som inte bara centra och skalor aktiveringar men bleker dem. Vi utforskar flera blekning tekniker, och finner att PCA blekning orsakar ett problem som vi kallar stokastisk axel byta, vilket är skadligt för lärande. Vi visar att ZCA blekning inte lider av detta problem, tillåter framgångsrik inlärning. DBN behåller de önskvärda egenskaperna hos BN och ytterligare förbättrar BN: s optimering effektivitet och generalisering förmåga. Vi designar omfattande experiment för att visa att DBN kan förbättra prestandan av BN på flerlagers perceptroner och konvolutionella neurala nätverk. Dessutom förbättrar vi konsekvent noggrannheten hos kvarvarande nät på CIFAR-10, CIFAR-100 och ImageNet.
Huang m.fl. föreslå Dekorrelaterad Batch Normalisering som bleknar i stället för att normalisera aktiveringarna REF.
Decorrelated Batch Normalization
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science', 'Mathematics']}