Abstract-Vi presenterar en spik-baserade oövervakade regenerativt lärande system för att träna Spiking Deep Networks (SpikeCNN) för objektigenkänning problem med hjälp av biologiskt realistiska läckande integrera-och-eld nervceller. Utbildningsmetodiken bygger på inlärningsmodellen Auto-Encoder där det hierarkiska nätverket tränas lagermässigt med hjälp av encoder-dekoder-principen. Regenerativ inlärning använder spik-timing information och inneboende latens för att uppdatera vikterna och lära representativa nivåer för varje convolutional skikt på ett oövervakat sätt. De egenskaper som man lärt sig från det slutliga skiktet i hierarkin matas sedan till ett utgående skikt. Utdatalagret tränas med handledning genom att visa en bråkdel av den märkta träningsdatauppsättningen och utför den övergripande klassificeringen av indata. Vår föreslagna metod ger 0,95 %/24,58 % klassificeringsfel på MNIST/CIFARIO-datauppsättningar som är jämförbara med de senaste resultaten. Den föreslagna metoden inför också sparsamhet i de hierarkiska särdragen på grund av händelsebaserad kodning som resulterar i beräkningseffektiv inlärning. "Kan maskiner tänka?" , den fråga Turing tog upp i sin uppsats [1], har lett till utvecklingen av området för hjärninspirerad maskininlärning där forskare har lagt ner stora ansträngningar på att bygga smartare, mer medvetna apparater och teknik som har potential att ha mänsklig förståelse. I själva verket, storskaliga djupa neurala nätverk arkitekturer, såsom Convolutional Neural Nets (CNNs), har visat oöverträffad prestanda (i termer av klassificering och igenkänning noggrannhet) i ett brett spektrum av datorseende och relaterade applikationer. Sådana djupa nätverk som inspirerats av de kortikala visuella bearbetningssystemen har fått allt större framgång under de senaste åren på grund av tillgången till kraftfullare datorutrustning (GPU-acceleratorer) och massiva dataset för utbildning. Oavsett framgång har de betydande kostnaderna för utbildning och testning av sådana storskaliga nätverk begränsat deras genomförande till moln och servrar. För att bygga enheter med kognitiva förmågor finns det ett behov av specialiserad hårdvara med nya beräkningsteorier. Spiking Neural Networks (SNN) är en utmärkt kandidat för att möjliggöra sådan on-chip intelligens. Drivs av hjärnliknande asynkrona händelsebaserade beräkningar, SNNs fokusera sin beräkningsansträngning på för närvarande aktiva delar av nätverket, effektivt spara kraft på den återstående delen, vilket uppnår storleksordningar mindre effektkonsumption i jämförelse med deras Artificial Neural Network (ANN) motsvarigheter [2, 3], som implements ett nätverk av integrera-och-eld spikande neuroner. TrueNorth innehåller dock inte någon information om inlärningsmekanismerna, vilket för närvarande är ett stort hinder för att förverkliga SNNs för verkliga praktiska tillämpningar som visuellt och taligenkänning bland andra. Därför finns det ett behov av att utveckla effektiva inlärningsalgoritmer som kan dra nytta av de specifika egenskaperna hos SNNs (eventsdriven, låg effekt, on-chip-inlärning) samtidigt som egenskaperna (allmänt syfte, skalbara till större problem med högre noggrannhet) hos konventionella ANN-modeller bibehålls. Den senaste tidens insatser för utbildning av djupspiknät använder inte spikbaserade inlärningsregler, utan utgår i stället från en konventionell ANN som är fullt utbildad med hjälp av märkta utbildningsdata, följt av en omvandling av samma till en modell som består av enkla sipprande neuroner [5] [6] [7]. För att utvidga inlärningsmetodernas tillämplighet är det dock absolut nödvändigt att använda omärkta data för maskininlärning. I den icke-spikande domänen har oövervakad inlärning av hierarkiska regenerativa modeller som Auto-Encoders [8] framgångsrikt använts för att lära sig funktioner på hög nivå. De inlärda funktionerna används sedan som indata till en övervakad klassificeringsuppgift [9] eller för att initiera ett CNN [10] för att undvika lokala minima. I detta papper utvecklar vi på Auto-Encoders där vi bygger en spik djup CNN genom att träna varje lager i hierarkin på ett rent oövervakat sätt med hjälp av regenerativ modell och temporal spik information för att uppdatera vikterna. SNN är utrustade med oövervakade viktmodifieringsregler som Spike Timing Dependent Plas ticity (STDP) som lär sig strukturen på indataexempel utan att använda etiketter [11]. Den nätverksstruktur som har varit framgångsrik när det gäller att uppnå konkurrenskraftig klassificeringsnoggrannhet för mönsterigenkänningsproblem är dock en enskikts SNN, som inte skalar sig väl till realistiska högdimensionella bilder i form av beräkningskomplex [12]. Dessutom stöder STDP inte lärande hierarkiska modeller som simultant representerar flera nivåer som kanter eller objektdelar i ett visuellt sammanhang som är grundläggande för en djupinlärningsmodell. Vi föreslår regenerativt lärande med hjälp av spets-timing information för att genomföra lagermässigt viktmodifiering som lär sig representativa nivåer för varje konvolutionella skikt. Funktionerna från det sista skiktet av det djupkonvolutionella spiknätverket (SpikeCNN) används sedan för klassificeringsuppgifter. 299 Ordförande
Ett nätverk inspirerat av autoencoder av neurala nätverk litteratur utbildas utan etiketter lagermässigt för att rekonstruera MNIST och CIFAR-10 dataset, och vars utdata utbildas på ett övervakat sätt för att utföra klassificering REF.
Unsupervised regenerative learning of hierarchical features in Spiking Deep Networks for object recognition
{'venue': '2016 International Joint Conference on Neural Networks (IJCNN)', 'journal': '2016 International Joint Conference on Neural Networks (IJCNN)', 'mag_field_of_study': ['Computer Science']}