Vi visar att en meddelande-passing process gör det möjligt att lagra i binära "material" synapser ett antal slumpmässiga mönster som nästan mättar informationen teoretiska gränser. Vi tillämpar inlärningsalgoritmen på nätverk som kännetecknas av ett brett spektrum av olika anslutning topologier och av storlek jämförbar med den av biologiska system (t.ex. än 10 5 − 10 6 ). Algoritmen kan omvandlas till ett on-line-fel tolerant-lärande protokoll av potentiellt intresse för modellering aspekter av synaps plasticitet och för att bygga neuromorf utrustning. PACS nummer: 75.10.Nr,87.19.La,87.10+c, Lärande och minne genomförs i neurala system främst genom distribuerade förändringar av synapseffekt [1]. Lärandet problem i neurala nätverk (NN) frågar om man kan hitta värden för synaptiska efficacies sådan att en uppsättning av p mönster lagras samtidigt. Beroende på nätverkets struktur - feed-forward eller recidiverande - ses lagringsproblemen antingen som ett klassificeringsproblem (inmatningsmönster klassificeras enligt nätets utdata) eller som ett tilldragande eller dynamiskt problem (mönster är de externa stimuli som driver nätverkets dynamik till närmaste attraherare) [2]. I vilket fall som helst utgör förståelsen av de mekanismer som ligger till grund för synapsförändringar ett avgörande steg för modellering av verkliga neurala kretsar (t.ex. Purkinjecellerna i cerebellum [3] ). På den rent teoretiska sidan har många grundläggande resultat härletts, allt från informationsteoretiska gränser [4, 5] och statistisk fysikanalys av inlärningsförmåga [6] i modell NN till konkreta algoritmer, såsom artificiella mönsterigenkänningssystem. Det finns fortfarande många öppna begreppsmässiga problem som hänger samman med behovet av att uppfylla realistiska begränsningar [7]. Modellering av materialsynapser är möjligen en av de mest grundläggande, det diskreta fallet (och särskilt den switch-liknande binära) vara av särskilt experimentell [8] och teknologiskt intresse [9]: nyligen genomförda experiment - på den enda synaps upplösningsnivå - har visat att vissa synapser genomgår potentiering eller depression mellan ett begränsat antal diskreta stabila tillstånd genom switch-liknande enhetliga händelser [8]. Det är känt sedan många år att synapsens diskretion gör inlärningsproblemet utomordentligt svårt [10]: även uppgiften att hitta binära synapsvikter för ett enda lager nätverk (den binära perceptronen) som klassificerar i två klasser en given uppsättning mönster är både NP-komplett och beräknings svårt i genomsnitt (som observerats i klassiska numeriska experiment). Trots det faktum att binära nätverk i princip kan klassificera korrekt ett omfattande antal p = αn slumpmässiga mönster med n binära synapser [11], praktiskt taget finns det ingen känd algoritm som kan lagra exakt mer än bara ett logaritmiskt tal [12, 13] så snart en sub-exponentiell klippning sätts på deras körtid. Här presenterar vi en distribuerad meddelande-passing algoritm av statistisk fysik ursprung som effektivt kan lagra ett omfattande antal (p = αn med α > 0) slumpmässiga mönster i binära NN kännetecknas av ett brett utbud av olika topologier. Vi anser att enkel- och flerlagersnätverk med lokala förbindelser mellan neuronerna sträcker sig från ändliga till omfattande. Den typiska beräknings komplexitet av algoritmen kommer att visas skala ungefär som O n 2 log (n), som är nästan linjärt på storleken på indata för ett stort antal mönster. Detta faktum tillsammans med algoritmens parallella natur gör det enkelt att hitta optimala synapsvikter för system så stora som n = 10 6 med α relativt nära det kritiska värdet α c över vilket perfekt lärande inte längre är möjligt. Ur algoritmisk synvinkel bör vår lösning på det binära inlärningsproblemet ses som ett exempel på lösning av problem med begränsad tillfredsställelse över täta faktorgrafer (en grafisk representation av kombinatoriska begränsningar som används i informationsteori [14, 15] ). Som sådan, vårt resultat visar hur den senaste tidens framsteg i kombinatoriska optimering av statistisk fysik och meddelande passerar tekniker som har gjort det möjligt att lösa effektivt kända kombinatoriska problem som slumpmässig Ksatisfiability [16] eller slumpmässig graf Q-färgning [17], kan utvidgas till andra klasser av problem där begränsningar innebär ett stort antal variabler.
Skapa en faktor-graf modell för neural associativ minne har också tagits upp i REF där en meddelande-passing algoritm föreslås för att memorera någon uppsättning slumpmässiga mönster.
Learning by message-passing in networks of discrete synapses
{'venue': 'Phys. Rev. Lett. 96, 030201 (2006)', 'journal': None, 'mag_field_of_study': ['Physics', 'Computer Science', 'Medicine', 'Biology']}