Tidigare arbete har visat att svårigheter att lära sig djupa generativa eller diskriminerande modeller kan övervinnas genom en inledande oövervakad inlärning steg som kartlägger input till användbara mellanliggande representationer. Vi inför och motiverar en ny utbildningsprincip för oövervakad inlärning av en representation baserad på idén att göra de inlärda representationerna robusta till partiell korruption av inmatningsmönstret. Detta tillvägagångssätt kan användas för att träna autokodare, och dessa denoiserande autokodare kan staplas för att initiera djupa arkitekturer. Algoritmen kan motiveras ur ett mångsidigt inlärnings- och informationsteoretiskt perspektiv eller ur ett generativt modellperspektiv. Jämförande experiment visar tydligt den överraskande fördelen med att korrumpera indata från autokodare på ett mönster klassificering riktmärkessvit.
Den litteraturen har främst fokuserat på att utnyttja principen om robusta representationer, baserad på det denoiserande autoencoder paradigmet REF.
Extracting and composing robust features with denoising autoencoders
{'venue': "ICML '08", 'journal': None, 'mag_field_of_study': ['Computer Science']}