Deep Learning (DL) syftar till att lära sig meningsfulla representationer. En meningsfull representation avser den som ger upphov till betydande prestandaförbättringar av tillhörande maskininlärning (ML) uppgifter genom att ersätta rådata som indata. Optimal arkitekturdesign och modellparameteruppskattning i DL-algoritmer anses dock allmänt vara svåråtkomliga. Evolutionära algoritmer är mycket att föredra för komplexa och icke-konvexa problem på grund av dess inneboende egenskaper av gradient-fri och okänslighet till lokal optimal. I detta dokument föreslår vi en beräkningsmässigt ekonomisk algoritm för att utveckla oövervakade djupa neurala nätverk för att effektivt lära meningsfulla representationer, vilket är mycket lämpligt i den nuvarande Big Data-eran där tillräckligt märkta data för utbildning är ofta dyrt att förvärva. I den föreslagna algoritmen, hitta en lämplig arkitektur och de initierade parametervärden för en ML uppgift till hands modelleras av en beräknings effektiv genkodning metod, som används för att effektivt modellera uppgiften med ett stort antal parametrar. Dessutom ingår en lokal sökstrategi för att underlätta utsugningssökningen för att ytterligare förbättra prestandan. Dessutom används en liten andel märkta data under utvecklingssökningen för att garantera att de inlärda representationerna blir meningsfulla. Den föreslagna algoritmens prestanda har noggrant undersökts över klassificeringsuppgifter. Särskilt, felklassificeringsfrekvens på MNIST med 1,15% uppnås av den föreslagna algoritmen konsekvent, vilket är ett mycket lovande resultat mot state-of-the-art oövervakade DL algoritmer.
År 2018, Sun et al. REF har föreslagit en beräkningsekonomisk algoritm för att utveckla oövervakade djupa neurala nätverk för att effektivt lära sig meningsfulla representationer, vilket är mycket lämpligt i den nuvarande Big Data-eran där tillräckligt märkta data för utbildning är ofta dyrt att förvärva.
Evolving Unsupervised Deep Neural Networks for Learning Meaningful Representations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}