Regularisering för matris factorization (MF) och approximationsproblem har utförts på många olika sätt. På grund av dess popularitet i djup inlärning, har avhopp tillämpas också för denna klass av problem. Trots dess solida empiriska prestanda är de teoretiska egenskaperna hos avhopp som regularizer fortfarande ganska svårfångade för denna klass av problem. I detta dokument presenterar vi en teoretisk analys av avhopp för MF, där Bernoulli slumpmässiga variabler används för att släppa kolumner av faktorerna. Vi demonstrerar ekvivalensen mellan avhopp och en helt deterministisk modell för MF där faktorerna legaliseras av summan av produkten av squared Euclidean normer i kolumnerna. Dessutom inspekterar vi fallet med en faktorisering av varierande storlek och vi bevisar att avhopp uppnår det globala minimum av ett konvext approximationsproblem med (kvadrat) nukleär normreglering. Som ett resultat, drar vi slutsatsen att avhopp kan användas som en låg rank regularizer med databeroende singular-värde tröskel.
Cavazza m.fl. har diskuterat ekvivalensen mellan Dropout och en helt deterministisk modell för Matrix Factorization där faktorerna legaliseras av summan av produkten av de squared Euclidean normer i kolumnerna i matrisen REF.
Dropout as a Low-Rank Regularizer for Matrix Factorization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}