I detta dokument föreslår vi en "vinnar-take-all"-metod för att lära sig hierarkiska glesa representationer på ett oövervakat sätt. Vi introducerar först fullt anslutna vinnare-take-all autoencoders som använder mini-batch statistik för att direkt genomdriva en livstid sparsam i aktiveringen av de dolda enheterna. Vi föreslår sedan den konvolutionella vinnaren-take-all autoencoder som kombinerar fördelarna med convolutional arkitekturer och autoencoders för lärande skift-invariant sparse representationer. Vi beskriver ett sätt att träna konvolutionella autokodrar lager för lager, där förutom livstid gleshet, en rumslig gleshet inom varje funktion karta uppnås med hjälp av vinnare-take-all aktiveringsfunktioner. Vi kommer att visa att vinnare-take-all autoencoders kan användas för att lära sig djupa glesa representationer från MNIST, CIFAR-10, ImageNet, Street View House Numbers och Toronto Face dataset, och uppnå konkurrenskraftig klassificering prestanda.
Winner-Take-All [20, REF är en extrem form av Adaptive Dropouts som använder mini-batch statistik för att genomdriva en gleshet begränsning.
Winner-take-all autoencoders
{'venue': 'NIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}