Löftet om oövervakade inlärningsmetoder ligger i deras potential att använda stora mängder omärkta data för att lära sig komplexa, mycket icke-linjära modeller med miljontals fria parametrar. Vi anser två välkända oövervakade lärande modeller, djup tro nätverk (DBNs) och sparse kodning, som nyligen har tillämpats på en flurry av maskininlärning program (Hinton & Salachutdinov, 2006; Raina et al., 2007). Tyvärr är nuvarande inlärningsalgoritmer för båda modellerna för långsamma för storskaliga tillämpningar, vilket tvingar forskare att fokusera på mindre modeller, eller att använda färre utbildningsexempel. I detta dokument föreslår vi massiva parallella metoder för att hjälpa till att lösa dessa problem. Vi hävdar att moderna grafikprocessorer vida överträffar beräkningskapaciteten hos multicore processorer, och har potential att revolutionera tillämpligheten av djupt oövervakade inlärningsmetoder. Vi utvecklar allmänna principer för massiv parallellisering av oövervakade inlärningsuppgifter med hjälp av grafikprocessorer. Vi visar att dessa principer kan tillämpas för att framgångsrikt skala upp lärande algoritmer för både DBN och gles kodning. Vår implementering av DBN lärande är upp till 70 gånger snabbare än en dubbelkärnig CPU genomförande för stora modeller. Till exempel, vi kan minska den tid som krävs för att lära sig en fyra-lagers DBN med 100 miljoner fria parametrar från flera veckor till runt en enda dag. För sparse kodning, utvecklar vi en enkel, inneboende parallell algoritm, som leder till en 5 till 15-faldig upphastighet över tidigare metoder.
Ökningen av beräkningskapaciteten REF möjliggör också ett omfattande djupt oövervakat lärande.
Large-scale deep unsupervised learning using graphics processors
{'venue': "ICML '09", 'journal': None, 'mag_field_of_study': ['Computer Science']}