Djupa neurala nätverk har visat sig vara mycket kraftfulla modelleringsverktyg för många övervakade lärande uppgifter som involverar komplexa inmatningsmönster. Men de kan också lätt överanstränga sig för att träna fördomar och märka ljud. Förutom olika regularizers, exempel revikting algoritmer är populära lösningar på dessa problem, men de kräver noggrann inställning av ytterligare hyperparametrar, såsom till exempel gruvscheman och regularization hyperparameters. I motsats till tidigare omviktningsmetoder, som vanligtvis består av funktioner av kostnadsvärdet för varje exempel, föreslår vi i detta arbete en ny meta-lärande algoritm som lär sig att tilldela vikter till träningsexempel baserat på deras lutning riktningar. För att bestämma exempelvikterna utför vår metod ett steg i nedstigningen av metagradienten på de nuvarande mini-batch-exemplarvikterna (som initieras från noll) för att minimera förlusten på en ren, objektiv valideringsuppsättning. Vår föreslagna metod kan enkelt implementeras på någon typ av djup nätverk, inte kräver någon ytterligare hyperparameter tuning, och uppnår imponerande prestanda på klass obalans och skadade etikett problem där endast en liten mängd ren valideringsdata finns tillgänglig.
Ett relaterat tillvägagångssätt genom REF använder meta-gradient nedstigning för att omvikta övningsexempelen för att hantera fördomar och märka buller.
Learning to Reweight Examples for Robust Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}