Batch normalisering (BN) har varit mycket effektiv för djupt lärande och används allmänt. Vid träning med små minibatcher uppvisar modeller som använder BN en betydande försämring av prestandan. I denna uppsats studerar vi detta egendomliga beteende av BN för att få en bättre förståelse av problemet, och identifiera en orsak. Vi föreslår "EvalNorm" för att ta itu med problemet genom att uppskatta korrigerad normaliseringsstatistik att använda för BN under utvärderingen. EvalNorm stöder onlineuppskattning av den korrigerade statistiken medan modellen utbildas och påverkar inte modellens utbildningsplan. Som ett resultat kan EvalNorm också användas med befintliga förtränade modeller så att de kan dra nytta av vår metod. EvalNorm ger stora vinster för modeller tränade med mindre partier. Våra experiment visar att EvalNorm presterar 6,18% (absolut) bättre än vanilj BN för en batchstorlek på 2 på ImageNet validering set och från 1,5 till 7,0 poäng (absolut) vinst på COCO objektdetektion riktmärke över en mängd olika inställningar.
Å andra sidan ändrar inte Evalnorm Ref utbildningsprogrammet.
EvalNorm: Estimating Batch Normalization Statistics for Evaluation
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}