En stor utmaning i utbildningen Deep Neural Networks är att förhindra överbemanning. Många tekniker såsom dataförstärkning och nya regularizers såsom Dropout har föreslagits för att förhindra övermontering utan att kräva en massiv mängd träningsdata. I detta arbete föreslår vi en ny regularizer som heter DeCov vilket leder till betydligt minskad övermontering (som anges av skillnaden mellan tåg- och valprestanda), och bättre generalisering. Vår regularizer uppmuntrar olika eller icke-redundanta representationer i Deep Neural Networks genom att minimera korskovariansen av dolda aktiveringar. Denna enkla intuition har utforskats i ett antal tidigare verk, men överraskande har aldrig tillämpats som en regularizer i övervakad lärande. Experiment över en rad datauppsättningar och nätverksarkitekturer visar att denna förlust alltid minskar överbemanning samtidigt som den nästan alltid bibehåller eller ökar generaliseringens prestanda och ofta förbättrar prestandan över Dropout.
Cogswell m.fl. REF införde DeCov-förlusten på aktiveringarna som en regularizer för att uppmuntra icke-redundanta representationer.
Reducing Overfitting in Deep Networks by Decorrelating Representations
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}