Den imponerande framgången för moderna djupa neurala nätverk på datorseende uppgifter har uppnåtts genom modeller med mycket stor kapacitet jämfört med antalet tillgängliga utbildningsexempel. Denna överparameterisering sägs ofta kontrolleras med hjälp av olika legaliseringstekniker, främst vikt förfall och avhopp. Eftersom dessa tekniker minskar modellens effektiva kapacitet krävs dock vanligtvis ännu djupare och bredare arkitekturer för att kompensera för den minskade kapaciteten. Det tycks därför finnas ett slöseri med kapacitet i denna praxis. I detta dokument bygger vi på ny forskning som tyder på att explicit legalisering kanske inte är så viktigt som man allmänt tror och genomför en ablation studie som drar slutsatsen att vikt sönderfall och avhopp kanske inte är nödvändigt för objektigenkänning om tillräckligt med data förstärkning införs.
En nyligen publicerad artikel ifrågasätter användningen av legalisering efter vikt förfall och avhopp REF.
Do deep nets really need weight decay and dropout?
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}