Den kors-entropi förlust som vanligen används i djupt lärande är nära relaterad till de definiera egenskaper optimala representationer, men inte genomdriva några av de viktigaste egenskaperna. Vi visar att detta kan lösas genom att lägga till en legaliseringsterm, som i sin tur är relaterad till att injicera multiplikativt buller i aktiveringarna av ett Deep Neural Network, ett specialfall som är den vanliga praxisen för avhopp. Vi visar att vår regulariserade förlustfunktion effektivt kan minimeras med hjälp av Information Dropout, en generalisering av dropout rotad i information teoretiska principer som automatiskt anpassar sig till data och bättre kan utnyttja arkitekturer med begränsad kapacitet. När uppgiften är rekonstruktion av indata, visar vi att vår förlust funktion ger en Variational Autoencoder som ett specialfall, vilket ger en koppling mellan representationsinlärning, informationsteori och variationsinferens. Slutligen bevisar vi att vi kan främja skapandet av optimala lösliga representationer bara genom att genomdriva en faktoriserad tidigare, ett faktum som har observerats empiriskt i det senaste arbetet. Våra experiment validerar de teoretiska intuitionerna bakom vår metod, och vi finner att Information Dropout uppnår en jämförbar eller bättre generalisering prestanda än binär avhopp, särskilt på mindre modeller, eftersom det automatiskt kan anpassa buller till strukturen i nätverket, samt till testprovet.
Inspirerad av informationsteoretiska principer föreslår Achille och Soatto REF Information Dropout, en generalization dropout som automatiskt kan anpassas till data.
Information Dropout: Learning Optimal Representations Through Noisy Computation
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}