Abstract-En förlängning till en nyligen införd binära neurala nätverk föreslås för att möjliggöra inlärning av glesa meddelanden, i stort antal och med hög minneseffektivitet. Detta nya nätverk är motiverat både biologiskt och informativt. Reglerna för inlärning och hämtning är detaljerade och illustrerade med olika simuleringsresultat. Index Terms-associativ minne, felkorrigering kod, lärande maskin, återkommande neurala nätverk, sparsam kodning, parsimony. Hjärnan lagrar information med stor omsorg om parsimonin. Av uppenbara skäl av både begränsade tillgängliga resurs- och energibegränsningar är den information som memoreras av det biologiska neurala nätverket resultatet av en kraftig kompression av den fysiska stimuli som härrör från den " rikt detaljerade världen" [1]. Av samma skäl omfattar inlärnings- och insamlingsoperationer få hjärnregioner och få neuroner vid varje tillfälle. Det sätt på vilket hjärnan rekryterar och organiserar dessa små populationer av neuroner för att utföra den så kallade "sparskodningen" av mental information [2]-[4] återstår att upptäcka. Å andra sidan, i friska hjärnor, mental information är robust och varaktig, därför måste vara överflödig. Utan redundans skulle mental information vara alltför bräcklig inför de fysikalisk-kemiska aggressioner som hjärnkomponenterna lider kontinuerligt och under så många år. I dessa termer är situationen mycket lik den välkända källkod / kanalkodning systemet för moderna telekommunikationssystem: för det första, information rensas från värdelösa komponenter och sedan "intelligenta redundans" läggs till för att tillåta felkorrigering vid mottagarens sida [5]. Detta resonemang har nyligen lett till förslaget om en ny neural arkitektur som kombinerar återkommande binära nätverk och felkorrigeringskoder [6]. Det visades faktiskt i detta dokument att ingen kod för felkorrigering behövde läggas till på konstgjord väg. Alla diagram, oavsett stöd, biologiska eller artificiella, kan innehålla mycket överflödiga kodord när de Detta arbete stöddes delvis av Europeiska forskningsrådet (ERC-AdG2011 290901 NEUCOD). Författarna är från elektronikavdelningen på Télécom Bretagne (Institut Mines-Télécom), CS 83818, 29238 Brest, Frankrike. De är också med Laboratory for Science and Technologies of Information, Communication and Knowledge, CNRS Lab-STICC, Brest, Frankrike (e-post: behrooz.kamaryaliabadi@telecom-bretagne.eu; claude.berrou@telecom-bretagne.eu; vincent.gripon@telecom-bretagne.eu; xiaoran.jiang@telecom-bretagne.eu). assimileras till specifika grafmönster, nämligen klichéer. Att utnyttja denna mycket fördelaktiga egenskap, multipartit cliquebaserade nätverk har föreslagits i [6] för att lagra meddelanden med stor mångfald (antalet inlärbara meddelanden) och kapacitet (mängden inlärbar binär information), samt stark robusthet mot raderingar eller fel. Dessa nätverk utformades dock på ett sådant sätt att alla kluster till följd av multidelning används i memoreringsförfarandet. Därför motsvarar de inte direkt den "sparse kodning" visionen av mental information. Dessutom är mångfalden av dessa nätverk proportionell mot kvadraten av antalet neuroner i varje kluster, och inte till kvadraten av det totala antalet neuroner. För att häva dessa begränsningar måste de klickbaserade nätverken omprövas och omprövas när det gäller lagring av glesa meddelanden, dvs. meddelanden som inte kräver hela nätverket utan endast delar av det. Detta är ämnet för denna rapport, som resten är organiserad i sju avsnitt. Avsnitt II erinrar om principerna och anmärkningarna för de klickbaserade nätverken och föreslår också en liten förbättring av den hämtande algoritm som infördes [6]. Vissa överväganden om arkitekturens biologiska rimlighet läggs också fram. I avsnitt III beskrivs inlärnings- och insamlingsalgoritmer för glesa meddelanden. Avsnitt IV och V ger några teoretiska analys- och simuleringsresultat för grundläggande tillämpningar av associativt minne och klassificering. I avsnitt VI ges en illustration av nätets prestanda när det gäller felkorrigering för klassificering. I avsnitt VII tas frågan om glesa meddelanden med varierande gleshet upp. Slutligen, några kommentarer om öppnandet av denna nya typ av neurala nätverk föreslås i slutsatsen. Andra stycket ska ersättas med följande: NÄT PÅ NEURAL CLIQUES Överväg ett nätverk med n binära noder länkade av binära kanter (dvs. varje kant finns med vikt 1 eller finns inte). Detta nätverk kan sedan beskrivas med en icke-viktad, icke-orienterad graf vars noder kan aktiveras eller inte, med respektive värden 1 och 0. Nätverket är uppdelat i c-kluster, som var och en innehåller l = n/c noder. Av skäl som kommer att ges senare, dessa noder kallas fanaler. Även om något alfabet med kardinalitet l kan övervägas i representationen av information som lagras av nätverket, fokuserar vi på binära meddelanden för att tillåta klassiska beräkningar eller uppskattningar av lagringsegenskaper. Därför är l anses vara en effekt av 2: där -m i längd δ bitar är sub-message eller karaktär i samband med i th kluster, -f är den funktion som kartlägger varje sub-message till en unik fanal i motsvarande kluster. Således lär sig nätverket ett givet meddelande genom att välja en fanal per kluster och ansluta dessa c fanals för att bygga en helt sammankopplad subgraph, det vill säga en klick. Att lära sig det särskilda budskapet m är med andra ord detsamma som att lära sig mönstret C(m). Om M är den uppsättning meddelanden som inlärs av nätverket, W(m) den uppsättning kanter som måste skapas för att lagra särskilt meddelande m, ensemble W av befintliga kanter som härrör från inlärning av M helt enkelt ges av Detta resultat beror inte på i vilken ordning meddelanden presenteras, och lära sig ett nytt meddelande kan göras när som helst. Denna mycket enkla inlärningsregel leder till ett helt binärt nätverk. Observera att ingen anslutning är etablerad inom ett kluster. Den hämtande algoritmen är en tvåstegs, möjligen iterativ, procedur. För det första, på den globala skalan och från vad som är känt om stimulansen (dvs. några av undermeddelandena m i ), skickar motsvarande fanaler enhetliga signaler mot nätverket genom etablerade anslutningar och sedan läggs bidragen till vid varje nod. Efter detta meddelande passerar steg, på den lokala skalan av varje kluster, en vinnare-take-all regel utförs. Notering ) ( ij n v värdet av j th fanal i klustret med ett minne effekt, med parameter γ, läggs till meddelandet passerar förfarande. Detta förhållande skiljer sig något från det som föreslås i [6], eftersom summan på node n ij av signalerna som härrör från samma kluster med index i' ersätts med ett urval av dess högsta. Anledningen till varför ekvation (2) nu föredras är detaljerad i [7]. I korthet motiveras maxfunktionen av följande argument: när flera fanaler är aktiva inom samma kluster, dvs. i närvaro av tvetydighet, får just detta kluster inte påverka resten av nätverket mer än om det bara fanns en aktiv fanal. Med andra ord tolereras tvetydighet på lokal nivå men inte på global nivå. När det gäller det lokala valet "vinnare-take-all" är relationerna desamma som i [6] Efter dessa operationer har alla fanaler värde 1 eller 0, vilket förklarar varför detta nätverk sägs vara binärt, även om övergående fanalvärden kan vara större än 1. σ är en tröskel som är ganska jämförbar med McCulloch-Pitts modell av neuron [8] och som kan användas som en ytterligare kontrollnivå. Under normala förhållanden och klassiska applikationer, alla i v max, beräknas i c kluster är lika och kan sedan reduceras till en enda maximal poäng max v. Ett motexempel skulle till exempel vara ett nätverk där vissa etablerade anslutningar har försvunnit, på grund av vissa fysiska brister; i dessa förhållanden, vissa signaler kan saknas i beräkningen beskrivs av (2), förhindra en eller flera fanal värden från att nå v max. Efter de beräkningar som utarbetats av (3) kan mer än en fanal förbli aktiverad inom samma kluster. I denna tvetydiga situation kan en upprepning av (2) och (3) vara lönsam och processen kan behöva flera iterationer för att konvergera mot en icke-ambigerande fast punkt. När det gäller den informativa organisationen är den grundläggande processenheten i hjärnan troligen mikrokolumnen (även kallad minikolumnen) [9]-[11]. Denna mycket heterogena grupp på omkring 100 neuroner upprepar sig kvasiuniformt över den mänskliga grå materians cirka 20 kvadratdecimeter. Därför kan mikrokolumnen, som en "identisk upprepande enhet", ses som en nod i en graf, kunna ta emot och skicka många signaler från och mot resten av nätverket, med samma informationsförmåga överallt i cortex. Som sades i [11]: "Aktuella data om mikrokolumnen indikerar att neuronerna inom mikrokolumnen får gemensamma ingångar, har gemensamma utgångar, är sammankopplade och kan mycket väl utgöra en grundläggande beräkningsenhet för hjärnbarken". Dessa mikrokolumner är grupperade i kolumner vars populationer är olika, från några tiotals till några hundra. Dessa kolumner tros innehålla mikrokolumner som reagerar på samma familj av stimuli (t. ex. värdet av en vinkel i synbar cortex). Rising i neural hierarki, kolumner samlas i makrokolumner och sedan flera makrokolumner tillsammans utgör de så kallade funktionella områdena i hjärnan. Vi föreslår att fanalerna i de klickbaserade nätverken skall liknas vid mikrokolumner, kluster till kolonner och slutligen själva nätverket till en makrokolumn. För enkelhetens skull har alla kluster samma kardinalitet l i papperet, men som redan nämnts, biologiska kolonner är av olika storlekar. Termen fanal har antagits för att representera en nod i de klickbaserade nätverken av två skäl. För det första uttrycker den verkligheten hos ett kluster där endast en fanal kan "blixtas" under inlärningsprocessen; för det andra säger den att en nod på grafen inte är en enda neuron, utan en grupp neuroner, nämligen en 3 mikrokolumn. Betrakta ett meddelande av längd χ, bestående av tecken tagna i ett alfabet betecknat av A, neutralt tecken 0 är ett av dess element. Enligt den klassiska definitionen är ett "sparse message" ett meddelande som innehåller några icke-0 tecken. Sådana meddelanden är föremål för många aktuella studier inom informationsteori, särskilt för "komprimerad sensation" ansökan [12], eller även för klassificering [13]. Vi måste här ändra definitionen och säga att ett meddelande är glest när det innehåller få uttryckta tecken, det vill säga ett begränsat antal betydande tecken, på specifika platser, medan de andra inte har någon betydelse. För att ta ett enkelt exempel, om A är en ensemble av positiva eller noll heltal mindre än 8, ett glest meddelande av längd χ = 24, enligt den konventionella definitionen, kan vara: (00050006001000003000000), medan vi anser här meddelanden som: (--5---6--1---3-----), varje streck som betyder "no-care". De icke-uttryckta tecknen behöver inte lagras av neurala nätverket och kräver inte någon fanal att rekryteras i lärandet av meddelandet, medan ett klassiskt glest meddelande skulle behöva skriva av 0s. Denna vision av glesa budskap är mycket mer i enlighet med hur hjärnan lär sig sina kunskapsfaktorer, med omsorgen om parsimoni. Fram till avsnitt VII, vi anser att lära av meddelanden av längd χ med samma antal c av få uttryckta tecken som vi kallar likgiltigt klick ordning eller meddelande ordning i uppföljaren. Alfabet A innehåller 2 l element och, på samma sätt som föreslås i [6], nätverket är uppdelad i χ kluster, var och en innehåller l fanaler. Därför, nätverket innehåller l n χ = fanals och 2 Med början från en inledande tillstånd utan anslutning alls, lärande av ett första meddelande kommer att rekrytera c fanals och etablera. Sannolikheten att en viss anslutning inte tillhör denna klick är tänkt att vara: (detta är inte strikt exakt eftersom de anslutningar som skapas av klicken korreleras, men effekten av denna korrelation är försumbar när ett stort antal klick har bildats). Så efter lärandet av M oberoende och identiskt fördelade (i.i.d.) slumpmässiga meddelanden, denna sannolikhet, som vi antar att ge direkt den förväntade anslutning densitet, är och ömsesidigt Detta mycket enkla resultat visar att, för en given densitet d och ett visst värde av klick ordningen, antalet meddelanden som nätverket kan lära sig är proportionell mot kvadraten på antalet noder, eller fanaler. Denna kvadratiska lag måste exempelvis jämföras med den välkända sublinjära lagen av Hopfield nätverk (se [6] för detaljer) eller andra jämförbara lagar som erhållits med nätverk baserade på vägda anslutningar. Vi kan uttrycka mängden binär information B lärt av nätverket efter memorering av M-meddelanden som den första termen mellan parenteser står för valet av kluster i lagring av ett meddelande, med c uttryckt tecken bland χ. Den andra termen representerar det binära innehållet i varje meddelande var ) ( log 2 l = δ. Slutligen definierar vi effektivitet η som förhållandet mellan B och Q: För effektivitet lika med 1, denna formel leder till en övre gräns för M, kallas effektivitet-1 mångfald i nätverket 1 :. Log 2 Till exempel, med χ = 100, l = 64 och c = 16, M max är runt 5 10 30. 1 × meddelanden på 156 bitar vardera. Densitet beräknad från (5) är då ungefär 0,54. Från (11), Vi observerar att de största värdena av M max erhålls för de lägsta klickordningar c. Detta är helt naturligt: för en given binär resurs, ju kortare meddelanden är, desto fler kan de vara. Men ju mindre en klick är, desto mindre överflödig och robust det står inför eventuella brister (t.ex. fel, raderingar eller överinlärning). Valet av c är således resultatet av en avvägning mellan mångfald och robusthet. De optimala värdena för tillämpning av associativt minne kommer att diskuteras i avsnitt IV. De grundläggande ekvationerna för att hämta in lärda meddelanden är fortfarande (2) och (3) men i vilka vissa justeringar måste göras för att ta sparsamhet i beaktande: 1 Men eftersom meddelanden inte är ordnade i ett associativt minne och därför kräver mindre resurser än beställda meddelanden, effektivitet större än 1 är inte otänkbart [6].  Låt oss först påpeka att trots att ett inlärt budskap använder ett begränsat antal c-kluster vid varje gång, varierar dessa kluster från ett budskap till ett annat. I gemensamma situationer måste därför avkodningsförfarandet omfatta hela nätet på ett enhetligt sätt. Därför ersätts c med χ som det övre indexet för summeringen i (12). För det andra måste regeln om alla vinnare som uttrycks av (3) för varje kluster nu utvidgas till att omfatta hela nätverket för att hitta lämpliga kluster i sökandet efter ett visst meddelande, om deras index inte är kända. För att uppnå detta, ekvation (13) behåller det maximala värdet v max av maximal poäng som erhållits i alla kluster och tilldelar v max som villkor för att nå för alla fanals att vara aktiv. Slutligen och i allmänna fall, tröskel σ är nu klusterberoende och därmed betecknas σ i. I vissa tillämpningar kan det faktiskt hända att alla kluster inte deltar i en specifik uppgift. Till exempel, om nätverket uppmanas att känna igen eller avvisa ett visst meddelande med c < χ uttryckta tecken, behöver endast motsvarande kluster behandlas. Tröskelvärdet för de andra klusteren fastställs sedan till ett högt ouppnåeligt värde. I en annan situation, om nätverket måste lagra, inte bara binära meddelanden, men också någon form av kognitiva funktioner, valet av distinkta värden för σ i kan orientera nätverket avkodning mot begränsade lösningar. Ett högt värde för tröskeln för ett visst kluster skulle innebära att detta inte har någon betydelse i den nuvarande processen. Antag att ett nätverk med parametrar χ och l har lärt M i.i.d. Slumpmässiga meddelanden med ordning c, det vill säga cliques med c hörn. Vi vill veta vad felsannolikheten är i återhämtningen av ett inlärt meddelande när c c e < kluster inte tillhandahålls med information. Två extrema fall måste beaktas. Antingen index för c e saknade kluster är helt okända - vi kallar detta mest allvarliga fall blind återhämtning - eller de är helt kända - det kallas sedan guidad återhämtning. Den första och mest uppenbara anledningen till att hämtandet av ett tidigare inlärt meddelande kan misslyckas är att åtminstone ett annat inlärt meddelande delar samma kända tecken.. Därför är sannolikheten att ingen sådan klick finns, som vi liknar sannolikheten P r att hämta rätt meddelande, ( ) (16) Observera att, även utan radering (c e = 0), är felsannolikheten för blind återvinning inte noll. Detta beror på att en given lärd kliché av ordning c kan tillhöra en falsk kliché med ordning c + 1, med ungefärlig sannolikhet bild. 3 visar den simulerade felfrekvensen vid blind återhämtning av meddelanden, som en funktion av deras nummer M, för χ = 100, l = 64, c = 12 och c e = 3, efter en iteration av (12) och (13). Alla trösklar σ i är lika med noll i avkodningsprocessen och minnesparametern γ är lika med 1. Värden som ges av (15) anges också och visar god överensstämmelse mellan teori och simulering. Från relationer (5) och (15) är det möjligt att länka M och c, för ett förutbestämt värde av P e = P 0. För att göra detta enkelt använder vi de approximationer som ges av (7) och (16) med den ytterligare och grova hypotesen: χ >> c >> 1. Vi sätter också c e som ett bråk α av c: c c e α =. Allt detta resulterar i bild. 4 beskriver variationen av mångfald M, som en funktion av c, för χ = 100, l = 64, α = 0,25 och tre värden av P 0. Dessa kurvor visar att det finns ett värde av c som maximerar mångfalden i nätverket, för ett givet värde av P 0. Detta värde, betecknad c opt, uppskattas genom härledning (17) (genom logaritm) med avseende på c, och hitta villkoret för extrem. Beräkningen ger: Till exempel, med χ = 100, l = 64, α = 0,25, har vi valt c lika med 9 och 15 för P 0 = 10 -2 respektive 10 -6. Motsvarande skillnader som ges av (17) är omkring 70000 och 25000 och effektivitetsvinsterna, uttryckta i (10), är 33 % och 18 %. Som kan antas, materialeffektivitet (η) och effektivitet i att återställa budskapen (P e ) är motstridiga, men inte så skarpt. I detta gynnsamma fall saknas vissa tecken på budskapet, men deras stödkluster är kända. Tröskelvärdena för irrelevanta kluster är sedan satta till ett ouppnåeligt värde. Situationen är exakt den som beskrivs i [6, avsnitt VI], där alla kluster systematiskt är kända för att hämta ett budskap. Felsannolikheten, efter en iteration, ges av 6 ( ). Den simulerade felfrekvensen efter flera iterationer kan vara betydligt mindre än P e. Kurvorna (b) och (c) av Bild. 3 beskriver utvecklingen av felfrekvensen som en funktion av M, efter en respektive fyra iterationer respektive med samma parametrar som kurvan (a). De teoretiska värden som ges av (19) anges också. Skillnaderna i resultat mellan blind och guidad återhämtning är inte stora när det gäller mångfald. Vid styrning, istället för blind, avkodning utförs och för en given felfrekvens, mångfald M (som är ungefär proportionell mot densitet d, genom approximation (7)) är högre med cirka 50%, efter en iteration och 100% efter fyra iterationer. Som i [6, avsnitt V], överväger vi en enkel tillämpning av go/no-go klassificering. Nätverket med parametrar χ och l lär sig M i.i.d. meddelanden med samma ordning c < χ. Avkodningsförfarandet beskrivs fortfarande genom relationer (12) och (13) med γ = 1, men tröskelvärdena σ är nu lika med c för de grupper som testas (de som har en fanal aktiverad) och ett högre oåtkomligt värde för de andra, för att förhindra att de stör. Nätverket frågas sedan om ett meddelande är känt av det eller inte, det vill säga praktiskt taget, om avkodningsförfarandet kommer att acceptera stimulansen utan ändringar eller inte. Erkännandet av inlärda meddelanden är alltid framgångsrikt, eftersom alla aktiverade fanaler kommer att få maximal poäng (dvs. c) så snart den första iterationen är klar och ingen annan kan vinna inom de klungor som testas. Därför, den typ jag fel är ingenting:. 0 Eftersom tröskelvärdena för de irrelevanta klusteren är satta till ouppnåeliga värden, är den enda möjligheten för nätverket att acceptera ett felaktigt budskap, dvs. ett typ II-fel, förekomsten av en falsk klass C i de grupper som testas. Om man antar att inte bara meddelanden utan även anslutningar är i.i.d. är sannolikheten för att ha en sådan falsk klick (11), vilket visar att låga felfrekvenser kan erhållas även för effektivitetsvinster högre än 1. Till exempel, med c = 9, skillnader mer än tre gånger M max (d = 0,68 enligt (5)) kan uppnås samtidigt som felfrekvensen under 10 -6.  Eftersom det föreslagna nätverket använder klichéer som stöd för information och eftersom klichéer är överflödiga strukturer, är felkorrigering av förvrängda eller suddiga infallsmeddelanden möjlig. För att illustrera denna egenskap anser vi att ett nätverk med parametrar χ = 100, l = 64 och c = 12. M meddelanden lärs med hjälp av c contiguous cluster, den första är slumpmässigt placerad på en position mellan 1 och χ -c + 1 = 89. Efter inlärningsfasen presenteras meddelanden för nätverket efter systematisk permutation av två på varandra följande tecken, på ett cykliskt sätt. Till exempel, om meddelandena bland annat var tolv bokstäver engelska ord, det lärda ordet "intelligens" kan tas emot antingen som "nietllgineec" eller "etnleilegcni". Om nätverket kan känna igen "intelligens" från dessa parvisa permuterade versioner, skulle det också kunna korrigera mindre störda ord, såsom "inteligecne" eller "intellgienec" (en uppgift som den mänskliga hjärnan också är känd för att vara lätt kapabel till). För att nätverket ska kunna hantera upprörda tecken måste initieringen av upphämtningsprocessen ändras: när en fanal aktiveras i ett kluster, då måste motsvarande fanaler (dvs. Fanaler med samma indexvärden j) i angränsande kluster måste också aktiveras. Så i början av återhämtningsprocessen innehåller varje kluster tre aktiva fanaler. Den lärda klicken "intelligens" som finns i den aktiverade delgrafen som består av 36 3 12 = noderna, den avkodningsprocess som beskrivs av (12) och (13) kommer förhoppningsvis, efter flera iterationer, att stänga av de irrelevanta fanalerna och visa ordet med rätt ordning. Sannolikheten för att dekodern misslyckas är återigen relaterad till förekomsten av falska klichéer. De mest sannolika är de som delar c -1 hörn med den lärda klicken och använder en fel fanal i den återstående klustret som den sista vertex. För en given uppsättning av c -1 korrekta hörn, sannolikheten för att en sådan falsk klick finns är att c -1 korrekta hörn och en fel en i den sista klustret, sannolikheten för att en falsk klick kan existera, vilket ger direkt felsannolikheten i att hämta processen, är ( ) Bild. 6 uppvisar den felfrekvens som erhållits genom simulering efter en och sex iterationer, samt den teoretiska kurvan som dragits av från (22). Eftersom meddelanden som presenteras för nätverket är kraftigt snedvridna, krävs flera iterationer för att närma sig den teoretiska prestandan. Genom att jämföra abscissas i Fig. 3 och bild 6, Vi noterar att nätverket kan korrigera fel meddelanden lika lätt som, även lite bättre än, raderingar. Om fullständiga anagram, istället för sammanhängande permutationer, övervägdes, skulle c fanaler behöva aktiveras i varje kluster vid initieringssteget, istället för endast 3. Sannolikheten för att dechiffrera dessa anagram skulle då anges av ( ) Vi vill nu bedöma förmågan hos nätverket med parametrar χ och l att lära sig och hämta meddelanden med olika värden av c. Från bild. 4, Vi kan märka att en relativt stor uppsättning order c runt c opt kan användas utan att mycket försämra nätets hämta prestanda. Till exempel, med en riktad felfrekvens P 0 lika med 10 -4 och för just detta nätverk med χ =100 och l = 64, skulle värden på c som valts mellan 8 och 20 minska mångfalden med cirka 10 % eller mindre från det optimala värdet som erhålls med c opt = 12. För att formalisera det allmänna fallet, låt oss överväga klick order fördelade mellan c min och. Enligt samma resonemang som ledde till relation (5), kan vi uttrycka densiteten i nätet som Jämfört med skrivandet av (9), har en tredje term lagts till för att ta hänsyn till valet av c, men av mindre betydelse för typiska värden av χ, l, c min och c max. Effektivitet η ges sedan av Som i avsnitt III.A, är det sedan möjligt att hitta effektivitet-1 mångfald genom att ställa η = 1. Detta ger. ) ( log log log 2 Till exempel tar c min = 12 och c max = 20 ger M max = 5 10 27. 1 ×, ett värde mycket nära det som erhålls för c konstant och lika med 16, enligt avsnitt III.a. Slutligen, för att avsluta denna undersökning av glesa meddelanden lagras i nätverk av neurala cliques, vi anser ett nätverk med parametrar χ och l lärande M i.i.d. Meddelanden med varierande och jämnt fördelade order c och vars blinda återhämtning sker utan kännedom om c e α = delmeddelanden. Förhållande (15) är tillämpligt på var och en av de undergrupper av meddelanden med särskild ordning c, kan vi skriva den genomsnittliga hämta felfrekvens som ( ) Kombinerat med (24) för, Det är sedan möjligt att 8 uppskatta nätverkets prestanda i termer av felfrekvens kontra mångfald när variabla ordermeddelanden lärs. Bilda. 7 visar denna prestanda i två fall: c min = 6 och c max = 18 å ena sidan, c min = 12 och c max = 24 å andra sidan, och för α = 0,25 (i genomsnitt när c inte är en multipel av 4). Både simulerade och teoretiska värden som dragits av (28) visas också. Dessa kurvor måste jämföras med de kurvor som erhålls för c konstant och lika med 12 (Fig. 3 a)............................................................................................................ Förvånansvärt nog är prestandan något lägre för variabla ordermeddelanden än för c konstant och nära c opt. För låga felfrekvenser är minskningen av mångfalden mer uttalad för små värden av c. Men i samtliga fall, förutsatt att c förblir liten jämfört med χ, är storleksordningen för mångfald densamma.  Vi har visat och bedömt förmågan hos binära nätverk att lära sig och hämta ett stort antal glesa meddelanden, av konstanta eller variabla order. Dessa meddelanden lagras som kliquer vars hörn tillhör olika kluster, vars antal (c) är litet jämfört med det totala antalet (χ). Mångfalden (antalet inlärbara meddelanden) är proportionell mot det fyrkantiga antalet noder. De inlärda meddelandena kan hämtas i närvaro av raderingar och även efter någon form av förvrängning, förutsatt att avkodningsalgoritmen är anpassad till det särskilda problemet. Att tala i termer av icke linjära system, har vi visat att en lämpligt organiserad binär återkommande graf kan innehålla ett stort antal attraherare. Dessa stabila och särskiljande mönster kan betraktas som kodord för en distribuerad kod vars lokala koder är konstanta vikt-1-koder [7] och den globala koden är en klickbaserad kod. Den stora skillnaden och fördelen med denna "neuralkod" över en klassisk distribuerad kod, såsom turbo [14] eller LDPC [15]-kod, är naturligtvis dess förmåga att lära sig självständiga kodord, dvs. ord som inte är kopplade till ett linjärt kodningsförhållande. Uppbyggnaden av det föreslagna nätverket inspirerades av neokortexens hierarkiska organisation: mikrokolumner (fanaler) grupperade i kolumner (kluster) som samlas i makrokolumner (nätverk). Vi har sett att antalet meddelanden som ett nätverk bestående av χ =100 kluster med l = 64 fanaler var kan lära sig och hämta korrekt är runt 100.000. Om vi extrapolerar detta resultat till vad som skulle kunna erbjuda den mänskliga cortex resursen med sina miljarder mikrokolumner (i stort sett), leder den kvadratiska lagen uttryckt av (8) till 15 2 9 5 10 6400 meddelanden. Denna storleksordning är förvisso överdriven, eftersom neokortexets "småvärldsorganisation" [16] inte tillåter att den fyrfaldiga lagen utvidgas till att omfatta hela skalan. Begreppet "neural klick" är bekant för neuroforskare [17], [18], men enligt vår kunskap hade inlärnings- och hämtande egenskaper hos klickbaserade glesa budskap aldrig studerats till den formalisering som vi har utvecklat i denna uppsats. I ett meddelande nyligen [19] visade sig sådana klusterbaserade nätverk också vara lämpade för att lära sig sekvenser, och inte bara för atemporala budskap. För att tillåta detta, cliques ersätts med turneringar, det vill säga cliques där pilarna ersätter kanter. Effektivitet i intervallet 20% är uppnåeliga med fortfarande goda egenskaper robusthet, turneringar är strukturer nästan lika redundant som cliques. Den typ av neurala nätverk som vi har analyserat i detta papper har mycket enkel inlärning och hämta regler och erbjuder en stor mängd lagringskapacitet samt attraktiva korrigeringsegenskaper. Detta kan anses vara en bra kandidat för modellering av det cerebriska långtidsminnet och även en intressant utgångspunkt för utformningen av maskiner som kan lära sig en hel del meddelanden/situationer/sekvenser och kombinera dem tack vare vissa kognitiva principer som ännu inte har definierats. Detta arbete utförs för närvarande inom ramen för NEUCOD-projektet ("Neural kodning") som inrättats av Europeiska forskningsrådet. (11) med minnesparametern γ = 1 fixerar alla värden till 4. Spurious vertex X kan inte elimineras med hjälp av relation (12); alla värden placeras sedan till 1. Om en andra iteration utförs blir poängen A = B = C = D = 7, E = F = 6 och X = 5. Återigen, eftersom E och F inte får maximal poäng som är 7, endast noder A, B, C och D tilldelas värde 1 och klicken kan inte återvinnas. Ytterligare iterationer kommer att upprepa samma cykel.
Aliabadi m.fl. REF gör tillägget för att lära sig glesa meddelanden.
Learning sparse messages in networks of neural cliques
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}