Vi anser att problemet med att bygga högnivå, klassspecifika funktionsdetektorer från endast omärkta data. Är det till exempel möjligt att lära sig en ansiktsdetektor med endast omärkta bilder? För att svara på detta, vi tränar en djup sparse autoencoder på en stor datauppsättning av bilder (modellen har 1 miljard anslutningar, datasetet har 10 miljoner 200x200 pixel bilder hämtade från Internet). Vi tränar detta nätverk med modellparallalism och asynkron SGD på ett kluster med 1.000 maskiner (16.000 kärnor) i tre dagar. Tvärtemot vad som verkar vara en allmänt hållen intuition, avslöjar våra experimentella resultat att det är möjligt att träna en ansiktsdetektor utan att behöva märka bilder som innehåller ett ansikte eller inte. Kontrollexperiment visar att denna funktionsdetektor är robust inte bara för översättning utan också för skalning och rotation utanför planet. Vi finner också att samma nätverk är känsligt för andra högnivåkoncept som kattansikten och mänskliga kroppar. Med utgångspunkt från dessa inlärda funktioner, tränade vi vårt nätverk att känna igen 22,000 objektkategorier från ImageNet och uppnå ett språng på 70% relativ förbättring jämfört med tidigare tillstånd av hjärta.
Djupa autokodare REF bygger högkvalitativa, klassspecifika funktionsdetektorer från en stor samling omärkta bilder, till exempel ansiktsdetektorer för människor och katter.
Building high-level features using large scale unsupervised learning
{'venue': '2013 IEEE International Conference on Acoustics, Speech and Signal Processing', 'journal': '2013 IEEE International Conference on Acoustics, Speech and Signal Processing', 'mag_field_of_study': ['Mathematics', 'Computer Science']}