Avhopp och andra funktioner noising system kontroll överpassning genom artificiellt korrumpera utbildningsdata. För generaliserade linjära modeller utför avhopp en form av adaptiv legalisering. Med hjälp av denna synpunkt, visar vi att avhopp regularizer är första ordningen motsvarar en L 2 regularizer tillämpas efter skalning av funktionerna genom en uppskattning av invers diagonal Fisher information matris. Vi etablerar också en anslutning till AdaGrad, en online-lärande algoritm, och finner att en nära släkting till AdaGrad fungerar genom att upprepade gånger lösa linjära dropout-regulariserade problem. Genom att gjuta dropout som legalisering utvecklar vi en naturlig semi-övervakad algoritm som använder omärkt data för att skapa en bättre adaptiv regularizer. Vi tillämpar denna idé för att dokumentera klassificeringsuppgifter, och visar att den konsekvent ökar prestandan av avhopp utbildning, förbättra på state-of-the-art resultat på IMDB granskar dataset.
Lönare m.fl. REF beskrev avhoppmekanismen i form av en adaptiv regularisering, genom att upprätta en anslutning till AdaGrad-algoritmen.
Dropout Training as Adaptive Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}