Vi betraktar problemet med objektigenkänning med ett stort antal klasser. För att övervinna den låga mängden märkta exempel som finns i denna inställning, introducerar vi en ny funktion lärande och extraktion förfarande baserat på en faktor modell vi kallar spik-och-slab sparse kodning (S3C). Tidigare arbete på S3C har inte prioriterat förmågan att utnyttja parallella arkitekturer och skala S3C till de enorma problemstorlekar som behövs för objektigenkänning. Vi presenterar en ny inference procedur för lämplig för användning med GPUs som tillåter oss att dramatiskt öka både träningsset storlek och mängden latenta faktorer som S3C kan tränas med. Vi visar att detta tillvägagångssätt förbättrar den övervakade inlärningsförmågan hos både sparsam kodning och spets-och-slab Restrikted Boltzmann Machine (ssRBM) på CIFAR-10 datasetet. Vi använder CIFAR-100 datasetet för att visa att våra metodskalor till ett stort antal klasser är bättre än tidigare metoder. Slutligen använder vi vår metod för att vinna NIPS 2011 Workshop on Challenges In Learning Hierarchical Models' Transfer Learning Challenge.
Spike-and-slab sparse kodning (S3C) REF har nyligen föreslagits att kombinera fördelarna med sparse kodning med begränsade Boltzmann maskiner och det har visat överlägsen prestanda.
Large-Scale Feature Learning With Spike-and-Slab Sparse Coding
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}