Djupa nätverk kan nu uppnå prestanda på mänsklig nivå på ett brett spektrum av igenkänningsuppgifter. Oberoende av detta har neuromorphic computing nu visat oöverträffad energieffektivitet genom en ny chiparkitektur baserad på spikande neuroner, synapser med låg precision och ett skalbart kommunikationsnät. Här visar vi att neuromorphic computing, trots sin nya arkitektoniska primitiva, kan genomföra djupa konvolution nätverk som i) närmar sig state-of-the-art klassificering noggrannhet över 8 standard dataset, som omfattar vision och tal, ii) utföra slutledning samtidigt bevara hårdvarans underliggande energieffektivitet och hög genomströmning, kör på ovannämnda dataset på mellan 1200 och 2600 ramar per sekund och använder mellan 25 och 275 mW (effektivt > 6000 ramar / sek / W) och iii) kan specificeras och tränas med hjälp av backpropagation med samma användarvänlighet som samtida djupt lärande. För första gången, den algoritmiska kraften i djupt lärande kan slås samman med effektiviteten hos neuromorfiska processorer, vilket ger löftet om inbyggda, intelligenta, hjärninspirerade databehandling ett steg närmare.. På hårdvarufronten, bygger på grundläggande arbete på kisel neurala system [7], neuromorphic computing, med hjälp av nya arkitektoniska primitiver, har nyligen visat hårdvara som kan köra 1 miljon neuroner och 256 miljoner synapser för extremt låg effekt (bara 70mW i realtid operation) [8]. För att sammanföra dessa tillvägagångssätt finns löftet om en ny generation inbyggda realtidssystem, men först måste man förena viktiga skillnader i struktur och drift mellan samtida algoritmer och hårdvara. Här introducerar och demonstrerar vi ett tillvägagångssätt som vi kallar Eedn, Energieffektiva djupa neuromorfiska nätverk, som skapar konvolutionella nätverk vars anslutningar, neuroner och vikter har anpassats för att utföra inferensuppgifter på neuromorfisk hårdvara. För struktur, typiska konvolutionella nätverk sätter inga begränsningar på filterstorlekar, medan neuromorphic system begränsas till block-wise anslutning som begränsar filterstorlekardärigenom sparar energi eftersom vikter nu kan lagras i lokala on-chip minne inom dedikerade neurala kärnor. Här presenterar vi en ny konvolutionell nätverksstruktur som naturligt kartlägger den effektiva anslutning primitiver som används i samtida neuromorfa system. Vi upprätthåller denna konnektivitetsbegränsning genom att partitionera filter i flera grupper, och ändå upprätthålla nätverksintegration genom att blanda lager vars filterstödregion, genom att använda en liten topografisk storlek, kan täcka inkommande funktioner från många grupper [9]. För drift, samtida konvolutionella nätverk använder vanligtvis hög precision (≥ 32-bitars) neuroner och synapser för att ge kontinuerliga derivat och stödja små inkrementella förändringar i nätverkstillstånd, båda formellt krävs för backpropagation-baserad gradient inlärning. Som jämförelse använder neuromorfiska mönster 1-bitars spikar för att tillhandahålla händelsebaserad beräkning och kommunikation (förbrukande energi endast när det behövs) och använda synapser med låg precision för att samlokalisera minnet med beräkning (för att hålla datarörelserna lokala och undvika flaskhalsar i minnet utanför chipet). Här visar vi att genom att införa två begränsningar i inlärningsregeln -binary valued neurons med ungefärliga derivat och treinar valued ( {−1, 0, 1}) synapser - det är möjligt att anpassa backpropagation för att skapa nätverk direkt genomförbar med hjälp av energieffektiv neuromorphic dynamik. Detta hämtar inspiration från hjärnans spetsiga nervceller och synapser med lågt precision [10] [18]. För indata använder vi ett första lager för att omvandla flervärdes-, flerkanalsinmatning till binära kanaler med hjälp av konvolutionsfilter som lärs ut via backpropagation [14] [18] och vars utdata kan skickas på chip i form av spikar. Dessa binära kanaler, som intuitivt liknar oberoende komponenter [19] inlärda med övervakning, ger en parallell distribuerad representation för att utföra hög trohet, feltolerant beräkning utan behov av hög precision representation. Critically, vi visar att föra ovanstående innovationer tillsammans gör att vi kan skapa nätverk som närmar sig state-of-the-art noggrannhet utför slutsatser på 8 standard datauppsättningar, körs på ett neuromorphic chip på mellan 1200 och 2600 ramar per sekund (FPS), med hjälp av mellan 25 och 275 mW. Vi undersöker vidare hur vår strategi skalor genom att simulera multi-chip konfigurationer. Ease-of-use uppnås med hjälp av utbildningsverktyg byggda från befintliga, optimerade djupinlärning ramar [20], med inlärda parametrar kartlagda till hårdvara med hjälp av en hög nivå utplacering språk [21] Här ger vi en beskrivning av relevanta delar av djupa konvolutionella nätverk och TrueNorth neuromorphic chip, och beskriva hur kärnan i den förra kan realiseras på den senare. Djupa konvolutionella nätverk. Ett djupt konvolutionsnätverk är ett flerlagers feedfore neuralt nätverk, vars ingång är typiskt bildliknande och vars lager är neuroner som kollektivt utför en konvolutionell filtrering av inmatningen eller ett tidigare lager (Figur 1 ). Neuroner inom ett lager är ordnade i två rumsliga dimensioner, motsvarande förändringar i konvolutionsfiltret, och en funktionsdimension, motsvarande olika filter.
Den binära aktiveringsläget kan använda spikning svar för beräkning och kommunikation, vilket är en energieffektiv metod eftersom det förbrukar energi endast när det behövs REF.
Convolutional Networks for Fast, Energy-Efficient Neuromorphic Computing
{'venue': 'PNAS 113 (2016) 11441-11446', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}