Batch Normalization (BN) är en av de mest använda teknikerna i Deep Learning fält. Men dess prestanda kan brytas ner med otillräcklig batchstorlek. Denna svaghet begränsar användningen av BN på många datorseende uppgifter som detektion eller segmentering, där batchstorlek är oftast liten på grund av begränsningen av minnesförbrukning. Därför många modifierade normalisering tekniker har föreslagits, som antingen misslyckas med att återställa prestanda BN helt, eller måste införa ytterligare icke-linjära operationer i slutledning förfarande och öka enorm konsumtion. I detta dokument avslöjar vi att det finns två extra batchstatistiker som handlar om bakåtutbredning av BN, som aldrig har diskuterats väl tidigare. Den extra batch statistik i samband med gradienter också kan allvarligt påverka utbildningen av djupa neurala nätverk. Baserat på vår analys, föreslår vi en ny normaliseringsmetod, som heter Moving Average Batch Normalization (MABN). MABN kan helt återställa prestandan av vanilj BN i små batch fall, utan att införa några ytterligare icke-linjära operationer i slutsats förfarande. Vi bevisar fördelarna med MABN genom både teoretisk analys och experiment. Våra experiment visar effektiviteten av MABN i flera datorseende uppgifter inklusive ImageNet och COCO. Koden har släppts på https://github.com/megvii-model/MABN.
Dessutom, det senaste arbetet med REF föreslog "Moving Genomsnittlig Batch Normalization (MABN)" för små partier BN genom att ersätta batch statistik med rörliga medelvärden.
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}