Vi ger en formell och fullständig karakterisering av den explicita regularizer inducerad av avhopp i djupa linjära nätverk med squared förlust. Vi visar att a) den explicita regularizern består av en 2 - path regularizer och andra termer som också är reskaling invariant, b) konvex kuvert av den inducerade regularizern är den squared nukleära normen på nätverkskartan, och c) för en tillräckligt stor dropout takt, vi karakteriserar den globala optima av avhopp målet. Vi validerar våra teoretiska resultat med empiriska resultat.
REF gav en formell och fullständig karakterisering av avhopp i djupa linjära nätverk med squared förlust som en nukleär norm legalisering mot 0.
On Dropout and Nuclear Norm Regularization
{'venue': 'Proceedings of the 36th International Conference on Machine Learning, PMLR 97:4575-4584, 2019', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}