Även om Deep Neural Networks (DNN) har uppnått utmärkta resultat i många uppgifter, är det fortfarande en utmaning att förbättra DNN:s generaliseringskapacitet. I detta arbete föreslår vi en ny regularizer som heter Ensemble-baserad Decorlation Method (EDM), som motiveras av idén om ensemble lärande för att förbättra generalisering kapacitet DNNs. EDM kan appliceras på dolda lager i fullt anslutna neurala nätverk eller konvolutionella neurala nätverk. Vi behandlar varje dolt lager som en ensemble av flera basinlärare genom att dela alla dolda enheter i flera icke-överlappande grupper, och varje grupp kommer att ses som en basinlärare. EDM uppmuntrar DNN att lära sig mer olika representationer genom att minimera kovariansen mellan alla baselever under träningssteget. Experimentella resultat på M-NIST- och CIFAR-dataset visar att EDM effektivt kan minska övermonteringen och förbättra DNN:s generaliseringskapacitet.
Den andra betraktar det dolda lagret av neurala nätverk som ensemble eleven där dolda enheter betraktas som base learners REF.
Regularizing Deep Neural Networks with an Ensemble-based Decorrelation Method
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}