I denna studie undersöker vi systematiskt inverkan av klassobalans på klassificeringsprestanda hos konvolutionella neurala nätverk (CNN) och jämför ofta använda metoder för att ta itu med problemet. Klassobalans är ett vanligt problem som har studerats ingående i klassisk maskininlärning, men mycket begränsad systematisk forskning finns tillgänglig i samband med djupinlärning. I vår studie använder vi tre referensdatauppsättningar av ökande komplexitet, MNIST, CIFAR-10 och ImageNet, för att undersöka effekterna av obalans på klassificering och utföra en omfattande jämförelse av flera metoder för att ta itu med problemet: översampling, undersampling, tvåfas utbildning, och tröskel som kompenserar för tidigare klass sannolikheter. Vårt huvudsakliga utvärderingsmått är arean under mottagarens karakteristiska kurva (ROC AUC) justerad för uppgifter i flera klasser eftersom den totala noggrannheten är förknippad med märkbara svårigheter i samband med obalanserade data. Baserat på resultat från våra experiment drar vi slutsatsen att (i) effekten av klassobalans på klassificeringsprestanda är skadlig; (ii) metoden för att ta itu med klassobalans som uppstod som dominerande i nästan alla analyserade scenarier var översampling; (iii) översampling bör tillämpas på den nivå som helt eliminerar obalansen, medan undersampling kan prestera bättre när obalansen bara avlägsnas i viss utsträckning; (iv) i motsats till vissa klassiska modeller maskininlärning, översampling orsakar inte nödvändigtvis övermontering av CNNs; (v) tröskel bör tillämpas för att kompensera för tidigare klass sannolikheter när det totala antalet korrekt klassificerade fall är av intresse.
Författare av REF studera effekterna av obalans på konvolutionella neurala nätverk och dra slutsatsen att översampling är den bäst lämpade omsampling teknik och leder inte till överutrustning i CNNs.
A systematic study of the class imbalance problem in convolutional neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Medicine', 'Computer Science']}