Dropout är en enkel men effektiv teknik för att lära sig i neurala nätverk och andra inställningar. En sund teoretisk förståelse av avhopp behövs för att avgöra när avhopp bör tillämpas och hur man ska använda det mest effektivt. I den här tidningen fortsätter vi att utforska avhopp som reguljära pionjärer av Wager, et.al. Vi fokuserar på linjär klassificering där en konvex proxy till felklassificeringsförlusten (dvs. den logistiska förlust som används vid logistisk regression) minimeras. Vi visar: • när avhopp-regulariserade kriteriet har en unik minimerare, • när avhopp-regularisering straff går till oändlighet med vikterna, och när det förblir begränsad, • att avhopp-reglering kan vara non-monotonic som individuella vikter ökar från 0, och • att avhopp av legalisering straff får inte konvex. Denna sista punkt är särskilt förvånande eftersom kombinationen av avhopp legalisering med någon konvex förlust proxy är alltid en konvex funktion. För att kontrastera avhopp legalisering med L 2 legalisering, formaliserar vi begreppet när olika källor är mer kompatibla med olika regularizers. Vi ställer sedan ut distributioner som är bevisligen mer kompatibla med avhopp legalisering än L 2 legalisering, och vice versa. Dessa källor ger ytterligare inblick i hur induktiva fördomar av avhopp och L 2 legalisering skiljer sig åt. Vi ger några liknande resultat för L 1 legalisering.
Andra arbeten REF analyserar några underliggande problem, t.ex. när avhopp-regulariserade kriteriet har en unik minimerare och när avhoppsregularisering straff går till oändlighet med vikterna.
On the Inductive Bias of Dropout
{'venue': 'Journal of Machine Learning Research, 16, 3403-3454 (2015). (See http://jmlr.org/papers/volume16/helmbold15a/helmbold15a.pdf.)', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}