Multilayer anslutningist modeller av minne baserat på kodaren modellen med hjälp av backpropagation inlärningsregel utvärderas. Modellerna tillämpas på vanliga igenkänningsminnen där objekt studeras sekventiellt och sedan testas för retention. Sekventiell inlärning i dessa modeller leder till 2 stora problem. För det första glöms vällärd information snabbt bort när man lär sig ny information. För det andra, diskriminering mellan studerade objekt och nya objekt antingen minskar eller är icke-monotonisk som en funktion av lärande. För att ta itu med dessa problem undersöktes manipulationer av nätverket inom flerskiktsmodellen och flera varianter av flerskiktsmodellen, inklusive en modell med förlärt minne och en kontextmodell, men ingen löste problemen. De problem som diskuteras ger begränsningar i anslutningsmodeller som tillämpas på mänskligt minne och i uppgifter där information som ska läras är inte alla tillgängliga under lärandet. Det första stadiet i den sammankopplade revolutionen inom psykologin håller på att nå mogenhet och kanske nå sitt slut. Detta skede har handlat om utforskning av modellklasser, och de kriterier som har använts för att utvärdera en ansökans framgång har med nödvändighet varit lösa. I ett tidigt skede av utvecklingen av ett nytt tillvägagångssätt är det lämpligt med icke godtagbara kriterier på grund av det stora antal modeller som skall undersökas. Det kommer dock ett andra steg när modellerna fungerar som konkurrenter till befintliga modeller som utvecklats inom andra teoretiska ramar, och de måste utvärderas på ett konkurrenskraftigt sätt enligt strängare kriterier. Några få anmärkningsvärda anslutningsmodeller har nått upp till dessa standarder, medan andra inte har det. Det andra utvecklingsstadiet kräver också att anslutningsmodellerna utvärderas inom områden där deras potential för framgång inte omedelbart är uppenbar. Ett sådant område är igenkänningsminnet. Det arbete som presenteras i denna artikel utvärderar flera varianter av flerskiktsanslutningsmodellen som en redogörelse för empiriska resultat inom detta område. Jag diskuterar främst flera lager modeller med hjälp av felkorrigerande backpropagation algoritm och inte behandlar andra arkitekturer som adaptiv resonans system (Carpenter & Grossberg, 1987). Innan jag börjar med att modellera igenkänningsminnet måste jag ange vilka mål och regler som låg till grund för detta projekt. Detta är viktigt inom ett nytt undersökningsområde eftersom det finns många olika åsikter om vad som behöver vara Denna forskning fick stöd av National Science Foundation (NSF) Grant 85-10361 och National Institute of Mental Health Grant MH 44640 till Roger Ratcliffand NSF Grant 85-16350 till Gall McKoon. Jag tackar Gail McKoon, Neal Cohen, Douglas Hintzman, Michael McCloskey och Richard Shiffrin för oerhört värdefulla diskussioner om den forskning som presenteras i denna artikel och Douglas Medin, Bennet Murdock, Charles Rosenberg, och två anonyma granskare för kommentarer om manuskriptet. Korrespondens gällande artikeln bör ställas till Roger Ratcliff, psykologiavdelningen, Northwestern University, Evanston, Illinois 60208. 285 gjort för att föra teori framåt. I en systematisk tillämpning av connectist modeller till en empirisk domän, undersöka hela sortimentet (eventuellt oändliga) av potentiella modeller är inte möjligt. Det finns alltid en antydan om att "om man bara försöker..." Detta svar på en viss modells misslyckande kan vara kortsiktigt. Även om en ny fix kan hantera en dint~culty, kommer det förmodligen inte att ta itu med de olika fenomen som behöver förklaras, om inte konsekvenserna är grundligt förstås. Naturligtvis är en variant som hanterar de misslyckanden jag diskuterar (liksom andra empiriska fenomen i igenkänningsminnet) resultatet av detta arbete som är mest önskvärt. Den strategi jag tar i denna artikel är att undersöka de mer uppenbara varianterna av en klass av modeller och tillämpa dem systematiskt på empiriska resultat i igenkänningsminnet. Syftet är att ge en kumulativ studie av modellerna, undersöka både deras starka och svaga punkter, och att etablera igenkänningsminne som ett empiriskt område för vidare teoretisk utveckling med hjälp av anslutningsmodeller. Fokus på olika varianter mellan olika kategorier av modeller gör det möjligt att undersöka generella styrkor och svagheter som gäller för alla klasser, så detta tillvägagångssätt gör det olämpligt att svara om man bara försöker. En viktig följd av detta tillvägagångssätt är tillämpningen av modellerna på områden som liknar eller är relaterade till dem där modellerna tidigare har misslyckats. Denna typ av ansökan bör betraktas med misstänksamhet. Till exempel bör en flerskiktsmodell som har svårt att lära sig och glömma i igenkänningsminnet inte tillämpas på relaterade områden (t.ex. frekvensbedömning eller kategorisering) för vilka igenkänning kan visas vara ett specialfall om inte de tidigare felen kan åtgärdas på lämpligt sätt. Presentationen i den här artikeln innehåller en hel del detaljer i vissa avsnitt. För en snabbare läsning ges sammanfattningar eller förhandsvisningar för några av de viktigaste slutsatserna i de detaljerade avsnitten. De neuralt inspirerade connectist modellerna har nyligen blivit stora utmanare till mer traditionell information-286 ROGER RATCLIFF processing modeller i kognitiv psykologi. Även om det har funnits arbete på sådana neuralt inspirerade modeller i flera år (t.ex., J. A. Anderson, 1972 Anderson,, 1973 J. A. Anderson & Hinton, 1981; J. A. Anderson, Silverstein, Ritz, & Jones, 1977; Grossberg, 1980 Grossberg,, 1988 Kohonen, 1978), senaste intresset har underblåsts av slutsatsen att tidigare begränsningar av enkla enskiktsmodeller, såsom deras oförmåga att beräkna olika funktioner (Minsky & Papert, 1969), inte hålla när det finns mer än ett lager och när icke-linjäritet införs i bearbetning (Rumelhart & McClelland, 1986). Dessutom har en mängd framgångsrika tillämpningar av dessa connectist arkitekturer till flera områden av studier i kognitiv psykologi producerats. I detta första skede av den anslutningistiska revolutionen har tyngdpunkten (riktigt) legat på att redovisa viktiga resultat inom olika områden. Enskilda modeller har varit ganska framgångsrika, men framgången har fört med sig viss skepsis. Tveksamhetens fokus gäller frågan om modellernas begränsningar. Oavsett modellernas framgångar finns det ett ytterligare behov av information om modellernas begränsningar och om fenomen som modellerna inte kan förklara. Ett viktigt mål med den här artikeln är att använda minnesdomänen för att undersöka begränsningar av flerlagers connectist-arkitekturen, och därigenom ge resultat som kommer att bidra till att utveckla en förståelse av allmänna begränsningar på modellerna. Det område jag talar om är igenkänningsminne. Att känna igen minnet är ett viktigt studieområde eftersom det är en grundläggande aspekt av minnet och har en omfattande databas. Lika viktigt är att svar i igenkänningstester är snabba (för enstaka ord, typiskt 500-800 ms), så att igenkänningsprocessen är mindre mottaglig för effekterna av medvetna strategier än andra, långsammare uppgifter. Det kan således hävdas att de processer som ligger till grund för igenkänningsminnet hör till kategorin mikrostruktur för kognition, den term som har använts för att beskriva den grundläggande parallella bearbetningsmetoden för de elementära processer som ligger till grund för kognition (Rumelhart & McClelland, 1986). Minnet är också ett område där det finns materiella kvantitativa modeller som kan användas som riktmärken för dessa undersökningar (Gillund & Shiffrin, 1984; Hintzman, 1986; Murdock, 1982; Ratcliff & McKoon, 1988). Dessa globala minnesmodeller har utvecklats för att förklara en rad experimentella data i en rad olika experimentella paradigm. Modellen av GiUund och Shiffrin (1984) var utformad för att förklara både återkallande och igenkännande prestanda som en funktion av ett antal oberoende variabler. Hintzman (1986, 1988) har tillämpat sin modell på erkännande, frekvensbedömningar och data från kategoriseringsförfaranden. Murdock (1982 Murdock (, 1983, Eich (1982 Eich (, 1985, och Pike (1984) har tillämpat sina modeller på undergrupper av data från erkännande, seriell återkallelse, cued återkallande och fri återkallelse. Alla dessa modeller handlar främst om att förklara datamönster över experimentella paradigm, med en stor ansträngning för att fånga kvantitativa relationer. Det ursprungliga syftet med den forskning som beskrivs i denna artikel var att utveckla en flerskiktsanslutningsmodell och tillämpa den på minnesfenomenens domän som konkurrent till de globala minnesmodellerna. Förutom att tillhandahålla ett uppkopplingskonto för igenkänningsminne skulle modellen vara användbar för att tillhandahålla konkurrenskraftiga och kontrasterande jämförelser. Men de mer uppenbara connectist modeller misslyckades, liksom flera varianter. Därför dokumenterar jag i den här artikeln dessa misslyckanden och försöker i detalj förklara egenskaperna hos de modeller som ledde till misslyckanden. De empiriska fenomen som ska undersökas i denna artikel handlar om att lära sig och glömma i det vanliga igenkänningsminnesparadigmet. I ett typiskt experiment studerar ämnen en lista med ord, och sedan får de en testlista med ord för erkännande. Testlistan innehåller hälften gamla ord som fanns på studielistan och hälften nya ord som inte fanns med på studielistan. De gamla och nya orden presenteras i slumpmässig ordning, och ämnets uppgift är att bestämma för varje ord om det är gammalt eller nytt. Till exempel, med en studielista på 16 ord, skulle testlistan innehålla 32 ord, hälften gamla och hälften nya. Typiska mått på prestanda är exakthet i fråga om proportion korrekt och diskriminabilitet mellan gamla och nya objekt (ett annat viktigt mått är reaktionstid, men jag anser inte att det här; se Ratcliff, 1978 Ratcliff,, 1988. Lärande i detta sammanhang definieras som förbättring av diskriminabiliteten (d) mellan gamla och nya testobjekt som en funktion av studiemängden. Glömning definieras som noggrannhetsminskningen som en funktion av den mellanliggande information som presenteras mellan studien och testet av objektet. Den första och viktigaste modellen jag utvärderar är encoder nätverket (Ackley, Hinton, & Sejnowski, 1985), med hjälp av backpropagation lärande algoritm. Encoder-modellen utformades ursprungligen som ett test av inlärningsalgoritmer; modellen reproducerar någon av en tidigare tränad uppsättning indatavektorer vid dess utdatalager, med en smal kanal (färre dolda enheter än indata- eller utdataenheter) mellan in- och utdataskikten (se figur 1 ). Eftersom modellen implementeras i det arbete som beskrivs i denna artikel, antas objekt som införts i systemet vara vektorer för funktioner, typiskt av längd 32 (även om vissa inledande demonstrationer använder vektorer av längd 4). Systemet består av ett indatalager av detta antal enheter, ett dolt lager av färre enheter (1/2 till 3/4 antalet enheter i indatalagret), och ett utdatalager av samma storlek som indatalagret. De dolda enheterna har inga direkta anslutningar till eller från den externa inmatningen eller utmatningen. Istället, de dolda enheterna projicera till enheter vid inmatnings- och utdatalager så att varje enhet i det dolda lagret är ansluten till varje enhet i indatalagret och även till varje enhet i utdatalagret. Systemets uppgift är att reproducera en ingångssignal som en utgångssignal. Under inlärningen presenteras en objektvektor vid inmatningslagret, och aktiveringen överförs via nätverket, vilket resulterar i en uppsättning värden vid enheterna i utmatningslagret. Skillnaderna mellan ingångsvärdena och värdena vid utgångslagret används som träningssignaler för att ändra vikterna i nätverket. Vikterna ändras i proportion till skillnaden mellan det faktiska utgångsvärdet och det önskade utgångsvärdet för en viss enhet. I denna modell, platsen för minnet kan konceptualiseras som att fördelas över sammankopplingarna mellan ingång och dolda lager och de dolda och utgående lager. De tester av modellen som följer går från undersökning av ett enkelt system med fyra vektorer till undersökning av större system för vilka statistiska egenskaper är genomsnittliga över ett stort antal Monte Carlo simuleringar. Det enkla systemet studerades för att undersöka beteendet hos enskilda element inom en vektor som en funktion av lärande och glömska. De större systemen studerades som potentiellt livskraftiga modeller av igenkänningsminne i CONNECTIONIST MODELLER AV MINNE 287 Dolda enheter Inmatningsenheter Figur 1. Flerskiktskodarmodellen. vilka statistiska egenskaper uppgifterna skulle kunna undersökas. Till modelligenkänning tränas en uppsättning vektorer (de gamla objekten), och sedan vid testet presenteras dessa gamla vektorer och några nya vektorer (slumpmässigt valda med samma statistiska egenskaper som de gamla vektorerna) för systemet. Den backpropagation algoritmen tar en ingång vektor och producerar en utgång vektor med element som varierar mellan 0 och 1. För kodarmodellen är den önskade utmatningen densamma som indatan, och för att kvantifiera graden av matchning mellan utdata och indata används ett matchningsvärde baserat på punktprodukten för de två vektorerna. Från matchningsvärdena för tester av gamla och nya vektorer och variationen i dessa värden (över Monte Carlo-försöken) beräknas diskriminabiliteten mellan gamla och nya objekt. De indatavektorer som används i simuleringarna är slumpmässiga vektorer med element antingen 0 eller 1, och detta är en potentiell begränsning. I många uppgifter är informationen organiserad och strukturerad, och frågor om representation är av stor betydelse. Några av problemen i simuleringarna kan försvinna om rimliga representationer används i stället för slumpmässiga vektorer. I utvärderingen av varianter av kodarmodellen undersöks vissa representationsfrågor (t.ex. inlärning som steg till förlärt minne och stimulansvektorer som varianter på en prototyp), men dessa exempel är på intet sätt uttömmande. Tills vidare teoretisk utveckling av funktionsrepresentationer, är detta förmodligen det bästa som kan göras (se även de representationsantaganden som gjorts av McCIoskey & Cohen, 1989, som ger resultat liknande dem som presenterades senare). Modell av Recognition Memory Multilayer modellen valdes för studier eftersom det är en arkitektur som för närvarande tillämpas på många olika domäner inom psykologi. Dessutom möjliggör det beräkning av funktioner som linjära modeller (en eller flera skikt) inte kan beräkna (Rumelhart, Hinton, & Williams, 1986), ett problem som användes för att argumentera mot neurala modeller (Minsky & Papert, 1969). Ytterligare ett skäl till att välja den ickelinjära backpropagationsalgoritmen i motsats till linjära modeller är att vissa linjära modeller inte kan redogöra för prestanda i igenkänningsminnet eftersom de förutspår att diskriminering mellan studerade objekt och icke-studerade objekt förblir konstant som en funktion av studiemängden (J. S. Anderson, 1973; Murdock, 1982)............................................................. I flerskiktsmodellen representeras objekt som vektorer, med varje funktion eller element som har ett värde mellan 0 och 1. En ingångsvektorn med element oj och vikterna mellan noderna i inmatningen och dolda lager används för att beräkna inmatningen till det dolda lagret: neh = ~ wijo j. (1) J Detta nettoingång till det dolda lagret omvandlas till aktivering (utgången av det dolda lagret) genom en logistisk sigmoidomvandling som omvandlar nätvärden från ett intervall av-oo till +oo till intervallet 0 till 1: ( 2) Aktiveringen oi och uppsättningen av vikter mellan noderna i de dolda och utgående skikten används för att producera nettoinmatningen till utdatalagret genom ekvation 1. Denna nettoingång omvandlas med den logistiska omvandlingen till aktivering vid utmatningsskiktet, vilket är den slutliga utmatningen från systemet. När aktiveringsvärden erhållits för utdataskiktet används de tillsammans med önskade eller målvärden för utdata för att ändra vikterna i systemet. Vikterna ändras för att minimera summan av det fyrkantiga felet mellan värdet på varje målelement och motsvarande element i den erhållna utmatningen. Detta är jämförbart med att minimera energin i ett fysiskt system, där energi definieras som summan av kvadratskillnader mellan den önskade målvektorn och den utgående vektorn som produceras av systemet. Med den logistiska funktionen (ekvation 2), felsignalen vid ett utgångselement ges av där ti är undervisningssignalen (eller önskad utgång) för element i. Då används det här felvärdet för att ändra vikterna mellan de dolda och utgående skikten med var n är en inlärningshastighetsparameter. När vikterna mellan utsignalen och det dolda lagret har ändrats måste vikterna från det dolda lagret till det ingående lagret ändras. Felsignalen beräknas genom att föröka felet från utgångslagret till det dolda lagret från Förändringen i vikterna mellan de dolda och ingångsskikten ges genom ekvation 4 med ~i från ekvation 5. Vikter uppdaterades efter varje presentation av en vektor till systemet under inlärning men inte under testning. Det finns två andra faktorer att ta hänsyn till innan man går vidare till simuleringar. För det första, om summan av kvadrater eller energiutrymme är mycket variabel som en funktion av parametrar och ifa hög inlärningshastighet används (stor ~ i ekvation 4 vilket leder till stora förändringar i vikter), systemet kan svänga och därmed producera långsam konvergens till en lämplig lösning. För att undvika detta problem baseras viktmodifieringen på en linjär kombination av den aktuella beräknade viktförändringen och den tidigare viktförändringen. Den komponent i viktförändring som baseras på tidigare viktförändringar kallas momentum och hänvisar till det faktum att tidigare viktmodifieringar samt de nyligen beräknade förändringarna styr viktmodifieringen (se. I många av de simuleringar som presenterades senare användes ett momentumvärde på 0,5, men för att kontrollera resultatens allmängiltighet jämfördes modellens ROGER RATCLIFF-beteende med det fall då momentumvärdet var satt till 0 (dvs. viktförändringar baserade enbart på aktuell beräkning). Resultaten visade få skillnader (utom när det gäller presentation av blandad vs ren lista; se specifika exempel som presenterades senare). Den andra faktorn att överväga kallas symmetri brott av Och termen hänvisar till det faktum att om vikter börjar med lika värden, ändringar kan bara hålla vikterna lika eftersom de dolda enheter kommer alla att få samma felsignal tillbaka från utdatalagret. För att lösa detta problem tilldelas små slumpmässiga ojämlika värden som initialvärden till vikterna (t.ex. från en enhetlig fördelning i intervallet -0,3 till +0,3). Återigen undersöktes variationen i storleken på dessa ursprungliga värden, och effekterna noteras senare i artikeln. En ytterligare faktor som ibland används i flerskiktsmodellen är bias på noderna. Detta lägger till en term i exponenten för ekvation 2 (se och används för att fånga den genomsnittliga matchningen över alla noder. Inga fördomar på vikterna användes i dessa simuleringar. Slutligen krävs ett mått på graden av igenkänning för en testvektor. Med kodarmodellen är det lämpliga måttet punktprodukten mellan in- och utgångsvektorerna (omvandlad till intervallet -1 till + 1 och dividerad med vektorlängden). Modellen försöker reproducera indata vid utmatningen, och punkt produkten mäter hur väl detta uppnås. För att bilda punktprodukten omvandlas varje element till ett nytt värde 2 gånger det gamla värdet minus 1; detta ger värden för elementen i intervallet -1 till + 1. Punktprodukten mellan de transformerade vektorerna divideras sedan med antalet element för att ge ett totalt värde av matchning mellan -1 och + 1. Med flera Monte Carlo-replikeringar kan medelvärdet i matchvärdet och dess standardavvikelse erhållas för både gamla och nya objekt och användas för att beräkna den standardiserade diskriminabilitetsstatistiken mellan gamla och nya objekt: d' = (medelvärdet för gamla matchmedelvärdet för nya matchningar)/SD för nya matchningar. Modellbeteckning: Seriepresentation Ett stort fokus på den forskning som redovisas här innebär en avvikelse från den vanliga träningsmetoden för stimuli i ett flerlagers anslutningssystem. I det vanliga systemet tränas de vektorer som ska läras i svepning genom uppsättningen av alla vektorer som ska läras. Därför är alla vektorer tillgängliga för nätverket under hela utbildningen. Om man till exempel skulle lära sig fyra vektorer, A, B, C och D, skulle systemet presenteras med sekvensen ABCDABCDABCDABCCD • • • tills ett visst inlärningskriterium för den gemensamma lösningen uppnåddes. Jag definierar detta som fjärrrepetition eftersom efter objekt D presenteras, fjärr objekt A tas tillbaka för en annan presentation. Inom områden som perception, kan man föreställa sig upprepade exponeringar för en uppsättning stimuli att lära sig som skulle approximera denna fjärrsekvens (i själva verket, några nya modeller som Seidenberg & McCleland's, 1989, rotera utbildning genom stimuli enligt deras frekvens av förekomst på engelska). Däremot, i igenkänningsminnet, när objekten i en studielista presenteras med snabba presentationshastigheter, lär sig objekten till stor del i den ordning de presenteras, med liten möjlighet till fjärrrepetition. Till exempel är det osannolikt att ett ämne kan behålla alla objekt i en 16- eller 32-punktslista för att sopa igenom hela listan. Observera att för fjärrrepetition, det minne system som behöll hela listan skulle behöva modelleras inom en anslutningist ram, och detta skulle leda till redundans i minnessystem (ett för att behålla det för den andra att lära sig det). Dessutom är det möjligt att använda studiematerial av ett slag som inte lätt kan repeteras under hela presentationen av studielistan (t.ex. bilder som presenteras i snabb takt). På grund av dessa överväganden, modeller i klassen jag undersöker använder endast lokala repetitioner; det vill säga, endast den punkt som presenteras sist repas, eller bara den sista lilla gruppen av presenterade objekt repeteras, där antalet objekt i gruppen är vanligtvis satt till 4 (t.ex. se repetitionsschemat som presenteras i Gillund & Shiffrin, 1984). En andra avvikelse från många anslutningsmodeller är att endast positiva fall presenteras för systemet. Endast gamla objekt som kräver en positiv matchning från systemet presenteras vid studien; nya objekt (som kräver ett negativt svar) presenteras inte för utbildning. Detta innebär att systemet inte får någon diskriminerande utbildning mellan gamla och nya saker, bara diskriminerande utbildning bland positiva fall. Men det främsta kravet för systemet är att man diskriminerar nya föremål från gamla föremål. Den första uppsättningen studier jag diskuterar utforskar glömska i system med små vektorer följt av stora vektorer, och den andra uppsättningen studier undersöker mängden lärande som en funktion av antalet inlärningsförsök. Interferenseffekter Den första uppsättningen simuleringar använder kodarmodellen med små vektorer för att undersöka systemets funktion för funktion före och efter glömska. Det finns fyra ortogonala vektorer att lära sig (1 0 0 0, 0 1 0 0, 00 1 0 och 000 1) och ett flerskiktssystem med fyra ingångsenheter, fyra utgångsenheter och tre dolda enheter (jfr. Ackley m.fl., 1985). När alla fyra vektorerna lär sig som en ensemble (fjärrrepetition) genom att upprepade gånger svepa igenom hela uppsättningen, lär sig systemet framgångsrikt dem alla. Det inlärningskriterium som vanligtvis används är att fortsätta svepa tills utgångsvärdena ligger nära ingångsvärdena, dvs. inom några få procent av ingångsvärdena, till exempel 6 procent. Interferens undersöks genom att observera vad som händer när tre av vektorerna lär sig att kriterium i svepningar (t.ex. ändra alla vikter. I den första implementeringen tilläts alla vikter att bytas under träning av de tre första vektorerna, och alla vikter fick också ändras under träning av den fjärde vektorn. var och en av de fyra vektorerna efter den fjärde lärdes sig och visar att det förekom allvarliga förvrängningar i reproduktionerna av de tre första vektorerna. För var och en av dessa tre vektorer, det fanns en post för funktionen tränas för den fjärde vektorn. Så, till exempel, svaret på 1 0 0 0 efter träning på den fjärde vektorn (0 0 0 1) var 0,77, 0,01, 0,01 och 0,90. Dessa resultat visar att vikterna i systemet förändrades genom träning av den fjärde vektorn så att nästan vilken testvektor som helst skulle framkalla ett svar i den fjärde funktionspositionen. Således, någon utgång är en blandning av rätt utgång och vektorn som tränades sist; ett objekt som presenterades tidigare för testet hämtar den senast studerade objekt modulerade b~, den tidigare objektet. Den allmänna slutsatsen är att utbildning av nya vektorer efter träning av en tidigare uppsättning, utan upprepningar av den tidigare uppsättningen, kommer att leda till förlust av nätverkets förmåga att reproducera den tidigare uppsättningen. (I tabell 1 ingår också resultaten för testning av två andra vektorer, 1 1 1 1 och 0 1 1 0. Dessa ingår för att visa vad som händer när ett nytt objekt testas; i det här exemplet, "den sista funktionen är aktiverad för dessa nya objekt såväl som för de gamla objekten.) Ändra endast låga vikter. Efter att objekten i en uppsättning har lärt sig att kriterium, vikterna på kopplingarna mellan enheter kommer att variera i hur mycket de har ändrats från de ursprungliga värdena. För att systemet ska lära sig fler saker, kanske de vikter som har ändrats minst i det ursprungliga lärandet bör användas för ny inlärning, vilket lämnar de andra vikterna oförändrade (begreppet skulle vara att ändrade vikter blir mer motståndskraftiga mot förändring, eller mindre plast). För att genomföra detta system har tre punkter lärts sig att kriterium (som i den tidigare simuleringen). Jag bestämde sedan empiriskt ett brytvärde för viktstyrka så att ungefär hälften av vikterna var stora (antingen positivt eller negativt); dessa ändrades inte under träning av den fjärde punkten. Den andra halvan av vikterna var små och kunde ändras. Tabell 2 visar resultaten parallellt med resultaten i tabell 1 för de utdatavektorer som produceras när var och en av sex indatavektorer testas. Resultaten visar något bättre reproduktion av ingångsvektorerna än när alla vikter ändras (jfr. Tabell 1 ), men förbättringen är inte stor och ändrar inte den allmänna slutsatsen att senare lärande snedvrider tidigare lärande. Observera att reproduktioner av de diagonala elementen för de första tre mönstren efter träning den fjärde vektorn var ganska varierande (0. 85-019). (Parlamentet antog lagstiftningsresolutionen.) Detta är en ledeffekt av att vikterna delas upp i två klasser, fasta och justerbara, och av variabiliteten i vikternas utgångsvärden. Om man väljer olika uppsättningar slumpmässigt utvalda initialvikter, är de diagonala elementen lika varierande, men istället för den andra vektorn som reproducerar sig själv väl, kan den första eller tredje vektorn. Lägg till nya dolda enheter. Om neurala system tas på allvar som inspiration för connectist modeller, då föreställningen att oanmälda noder och anslutningar kan bli engagerade under lärande är värt att undersöka. Att ta in otillåtna noder simuleras genom att anta att även efter betydande utbildning, finns det fortfarande otillåtna noder tillgängliga att rekryteras under vidareutbildning. Genom denna modell betraktas inlärning av ny information inte som omorganisation av redan existerande minne utan som utbildning av nya resurser enbart eller som ändring av gammalt minne plus nya resurser. Dessa två möjligheter undersöks i nästa simulering. Den första simuleringen lägger till en extra dold enhet för träning av den fjärde vektorn, och alla vikter i nätverket får ändras. Man kan förvänta sig att mycket av det nya lärandet skulle åstadkommas genom de nya förbindelserna. Även om resultaten (tabell 3) visar att återhämtningen av de tre första vektorerna är bättre än i de simuleringar som beskrivits tidigare, är prestandan inte perfekt. Till exempel, efter att ha lärt 0 0 0 l, svar i den fjärde positionen av de tre första vektorerna (ursprungligen 0) varierade från 0,46 till 0,50, vilket tyder på betydande störningar. I simuleringen bara beskrivs, nätverket som helhet (de gamla anslutningarna plus den nya connec-tabell 4, och prestanda liknar den som visas i tabell 3. Den största skillnaden är att den fjärde punkten inte reproducerade sig själv lika väl vid slutprovet eftersom utbildningen inte omfattade hela nätverket. De tre initiala vektorerna reproducerade sig dock bättre än i de tidigare simuleringarna. Dessa två resultat tyder på en kompromiss." Den sista vektorn kan reproduceras bättre på bekostnad av tidigare vektorer eller de tidigare vektorerna kan reproduceras bättre på bekostnad av den sista vektorn. Mer än ett störande föremål. I de simuleringar som hittills beskrivits tränades tre moment för att först kriteriet, och sedan tränades en fjärde till kriteriet. I nästa simulering tränades färre föremål initialt, och fler föremål tränades därefter för att avgöra om detta skulle resultera i sämre reproduktion av de ursprungligen utbildade föremålen. Först tränades vektorerna 1 0 0 0 och 0 1 0 0 till kriterium, och sedan tränades ytterligare två vektorer, 0 0 1 0 och 0 0 0 1 till kriterium. Resultaten för testpunkterna visas i tabell 5. Störningen till reproduktion av de initiala två objekten efter träning de två sista är stor. I själva verket, att jämföra svaret på de två nya vektorer som testats (1 1 1 I och 0 1 1 0), det finns lite information i utmatningen för att identifiera de ursprungligen utbildade vektorer. Slutsatsen av denna simulering är att ju fler vektorer som tränas i en grupp efter den ursprungliga träningen, desto mindre sannolikt är det att de tidigare tränade vektorerna reproduceras korrekt. Var och en av simuleringarna visade att när objekt eller uppsättningar av objekt tränas sekventiellt, utbildning på de senare objekten stör inlärningen av de tidigare objekten, Simuleringarna använde små vektorer av längd 4, med en uppsättning objekt tränas till kriterium och sedan en andra uppsättning tränas till kriterium. Resultaten visade att ett test av ett objekt från den första uppsättningen efter träning resulterade i massiva störningar: Utmatningsvektorn var mer lik en av objekten från den andra uppsättningen än det var med testobjektet. Försök att minska störningar genom att bara ändra vissa vikter, lägga till dolda enheter, och koda de två träningsset av olika dolda urfits minskade störningar lite men inte lösa störningsproblem. McCIoskey och Cohen (1989) har uppnått liknande resultat för två olika uppgifter: lära sig aritmetiska fakta (med hjälp av en grovkodning vektor representation) och Barnes och Underwood (1959) A-B, A-C interferens paradigm. McCloskey och Cohen konceptualiserade den snabba glömska som orsakas av störningar i termer av ett flerdimensionellt utrymme (en energi eller en summa-ofsquare utrymme), där varje dimension i utrymmet är en anslutningsvikt och där inlärningsalgoritmen söker igenom detta utrymme för en minsta energi. Lärande algoritmen justerar vikterna för att få summan av skillnaderna mellan värdena för varje utdatafunktion och dess träningssignal till ett minimum (t.ex. ett energiminimum). Således att lära sig en uppsättning objekt innebär lutning nedstigning i ett flerdimensionellt utrymme där varje dimension eller vikt gradvis justeras för att producera energiminimum. Om antalet dolda enheter är stort, då kommer det att finnas flera (om inte så många, t.ex. 10 9) lösningar; det vill säga, det kommer inte att finnas ett unikt minimum (Pavel & Moore, 1988). Sedan, den särskilda lösning som erhålls för en uppsättning objekt kommer att fungera som utgångspunkt för utbildning av efterföljande poster (se Grossberg, 1987), och den nya lösningen kommer att vara nära den gamla lösningen i det flerdimensionella utrymmet. Denna nya lösning kommer i allmänhet inte att vara en lösning som maximalt uppfyller både kraven på de ursprungligen lärda objekten och begränsningarna för de senare utbildade objekten; snarare kommer den att tillfredsställa endast de sista föremålen som utbildats. På så sätt kommer reproduktionen av de tidigare föremålen att försämras. De ursprungligen utbildade objekten kommer att reproduceras i viss utsträckning eftersom lösningen på den nya uppsättningen objekt inte är alltför långt från lösningen för det tidigare lärandet. Däremot, när en uppsättning objekt ska läras alla på en gång, metoden sopningar leder till en iterativ väg genom parametern utrymme för att konvergera på en gemensam lösning. I de simuleringar jag har beskrivit, försök att begränsa utrymmet för möjliga lösningar genom att låta endast en delmängd av vikterna ändras var av begränsad framgång. Anledningen till detta är att nätverket är mycket sammankopplat, och lärandet distribueras över hela nätverket så att alla vikter, både små och stora, bär en del av lösningen. Samma villkor gäller i simuleringarna där extra dolda enheter och anslutningar läggs till. Lösningen bärs fortfarande av hela nätverket, och trots att nya resurser tillförs finns det fortfarande rörelse av hela systemet genom lösningsutrymmet till en ny punkt. Den enda skillnaden mellan dessa senare simuleringar och de tidigare simuleringarna är att reproduktion av gamla vektorer är något bättre eftersom en lösning med extra resurser kan hittas närmare utgångspunkten (den tidigare lösningen). Simuleringarna med en liten uppsättning korta, ortogonala ingångsvektorer gjorde att effekterna av nytt lärande på tidigare lärande kunde observeras enkelt och konceptuellt av funktionen inom en vektor. En begränsning av dessa simuleringar kan dock vara att sådana korta vektorer inte ger ett komplext eller tillräckligt rikt system för att på ett godtagbart sätt härma det mänskliga bearbetningssystemet. De flesta vektormodeller av minne använder vektorer av längd större än l0 (eftersom långa vektorer skulle behövas för att representera alla ord i en mental ordbok, till exempel) och anta att egenskaperna hos lösningarna skala upp; det vill säga, de förblir kvalitativt samma som vektorlängd ökas. För nästa omgång studier av glömska, Jag använde ett system med ingång och utgång vektorer av 32 enheter och ett dolt lager av 16 enheter. Endast högst 12 objekt utbildades så att snabbt glömska inte kunde tillskrivas brist på resurser i nätverket (dvs. en vektorlängd för kort för antalet objekt att lära sig). Dessutom var vektorerna för de objekt som skulle tränas inte ortogonala; värden för varje funktion för varje objekt valdes slumpmässigt så att slumpmässiga korrelationer mellan objekt skulle vara närvarande som de skulle vara med verkliga objekt i minnet. De simuleringar som presenteras i detta avsnitt är parallella med de manipulationer som undersöks i det första avsnittet med simuleringar där alla vikter ändras, undergrupper av vikter ändras eller extra dolda enheter och vikter läggs till i systemet för varje nytt objekt som ska läras in. I dessa simuleringar presenterades systemet först med fyra vektorer i en grupp, med elementen i varje vektor som valts slumpmässigt till antingen 0 eller 1. Träning sveper genom hela gruppen fortsatte tills vektorerna lärde sig att kriterium. Sedan tränades åtta slumpmässiga vektorer individuellt. Efter att vart och ett av punkterna uppnått kriteriet presenterades den posten och alla tidigare utbildade föremål för provning. Matchen mellan var och en av de utbildade objekten och dess utgång beräknades, vilket gav glömska funktioner för de fyra ursprungligen tränade objekt samt de successivt presenterade enskilda objekt. Produkterna lärdes sig till ett kriterium på 0,94 (om inte annat anges), och ett typiskt utbud av utbildningsförsök var 50-120. Tjugo replikationer av denna grundläggande simulering utfördes för att generera uppskattningar av variabilitet i prestanda; de rapporterade resultaten baseras på medel över dessa replikationer. För den första uppsättningen simuleringar fanns alla anslutningar tillgängliga för modifiering under varje träningsförsök (både för de första fyra punkterna och för varje på varandra följande ny post). Resultaten presenteras i figur 2 och visar att det snabbt glömdes bort för de ursprungligen inlärda fyra punkterna som en funktion av successiva inlärningsförsök på de enskilda punkterna. Matchvärdet sjönk från 0.94 till 0.51 efter träning av ett mellanobjekt. Med sex eller sju mellanobjekt hade matchen fallit till 0,23. För enskilt presenterade objekt, efter en mellanliggande objekt, nedgången i match var värre, falla från det ursprungliga värdet 0,94 till 0,29, och efter att sex eller sju ytterligare objekt hade lärt sig, matchen sjönk till 0.10. Detta sista värde är nära matchningen för nya objekt (slumpvis vektorer med samma statistiska egenskaper som de utbildade vektorerna). Matchen för nya objekt var 0,125 när de testades omedelbart efter de fyra ursprungligen tränade objekten och 0,046 +_ 0,046 när de testades efter de på varandra följande enstaka objekten. Minskningen av matchvärdet för nya objekt kan förstås genom att överväga hur väl de nya objekten matchar de tränade objekten. För ett nytt objekt som testas omedelbart efter de första fyra, dess utgång kommer att vara som objektet i de första fyra som är mest lik det: Den nya objektet försöker reproducera objektet mest gillar det. Utmatningen kommer att matcha testobjektet i den utsträckning som båda är likartade. För nya objekt som testas efter att enstaka objekt har utbildats kommer det sista objektet som utbildats (eller med lägre sannolikhet, objektet före) att reproduceras i viss utsträckning, och detta kommer att motsvara det sista objektet som lärts bäst (eller i mindre utsträckning, objektet tidigare). Detta kommer att sänka den genomsnittliga matchningen i förhållande till testning efter de första fyra lärs eftersom av en slump, en av de fyra kommer att matcha bättre än bara den sista (eller två). Utifrån denna uppsättning resultat kan man dra två slutsatser: För det första, liksom med de korta vektorerna med fyra element, reproduceras föremål som man lärt sig ensam dåligt efter flera mellanliggande inlärningsförsök. För det andra är föremål som kodats i grupper betydligt mer motståndskraftiga mot glömska än föremål som man lärt sig individuellt. I den andra uppsättningen simuleringar, de objekt som lärt sig individuellt (efter de första fyra objekten) tränades med endast lågvärdiga vikter ändras. För att uppnå detta delades vikterna på hälften efter undersökning av resultaten av utbildningen av de fyra initiala vektorerna. De mindre vikterna fick bytas under träningen, men de större vikterna fick inte ändras. Den brytpunkt som delade de stora och små vikterna fastställdes för efterföljande inlärning av enskilda objekt så att när någon vikt översteg detta värde, var det inte tillåtet att ändra under utbildning av några ytterligare objekt. Ibland skulle systemet misslyckas med att uppnå inlärningskriteriet för en av de senare enskilda punkterna. I detta fall slutfördes 1.000 utbildningskontroller av ämnet för att säkerställa att utbildningen asymptoiserades innan man gick vidare till nästa punkt. Resultat som presenteras i figur 3 visar att asymptoten är högre än motsvarande asymptot i figur 2, både för objekt inlärda i gruppen fyra och objekt inlärda var för sig. För nya slumpmässiga vektorer som testades omedelbart efter de första fyra var den genomsnittliga tändstickan 0,125, och för nya objekt som testades senare var den genomsnittliga tändstickan 0,045 _+ 0,039. Även om prestationen var bättre än i den första studien, var det fortfarande snabbt glömma av högt inlärd information som en funktion av senare lärande. Den tredje studien var utformad för att undersöka frågan om att lägga till resurser till systemet: Två nya dolda enheter och deras anslutningar lades till för varje ytterligare objekt som ska läras. Varje ytterligare objekt tränades genom att endast ändra vikterna till och från de nya dolda enheterna, men anslutningar till och från alla dolda enheter bestämde resultatet under träningen. Föremål i den ursprungliga gruppen behölls bättre än i den första uppsättningen simuleringar (figur 4) eftersom vikterna till och från de 16 dolda enheterna inte ändrades i senare träning och de dominerade över effekterna av ny inlärning. De enskilda föremål som man senare lärde sig kvarstod mycket sämre av samma anledning. Vid den tid då sju eller åtta efterföljande objekt hade utbildats, matchen för dessa objekt var nära 0. I den fjärde studien lades två nya dolda enheter till för varje enskilt objekt som man skulle lära sig. Endast anslutningar till och från dessa två nya dolda enheter ändrades under utbildningen, och endast de nya dolda enheterna användes för att bestämma utfallet under utbildningen, så att utbildning av de enskilda objekten genomfördes oberoende av resten av nätverket (detta kontrasterar mot den tidigare simuleringen, där anslutningar till och från både gamla och nya dolda enheter användes för att producera output dur-+60 Eing utbildning). Vid testet inkluderades alla anslutningar för att producera utgångar. Som i exemplet i tabell 3 för vektorer med fyra element gav omedelbara tester av de enskilda objekt som lärdes sist inga höga matcher eftersom tidigare inställda vikter ingick i testet, men dessa vikter hade inte varit involverade i utbildning av objektet. Också, som i de två studier som diskuterats tidigare, det fanns en snabb nedgång i matchen för de första fyra punkterna som en funktion av efterföljande lärande (se figur 5). Jämfört med den första studien var dock matchningen bättre för både de ursprungliga objekten och de enskilda objekten eftersom effekterna av störningar inte var i lärande utan vid test, där undernätverk (de olika dolda enheter och vikter som används för att lära de olika objekten) kombinerades. För att visa att detta resultat beror på att lära sig separat och kombinera endast vid hämtning och inte bara på att tillhandahålla mer dolda enheter, genomfördes ytterligare en simulering med alla vikter modifierade och mer dolda enheter som tillhandahålls (32 i stället för 16). Figur 6 visar resultaten. Värden för tändstickor för objekt kodade i 4-punktsuppsättningen var bara något under dem i figur 5 när de nya dolda enheterna tränades i isolering, men singelpunktsmatchen var ungefär hälften av de värden som visas i figur 5. I själva verket är prestandan jämförbar med den i figur 2, visar att extra resurser har liten effekt på prestanda. Resultaten visade att om en uppsättning objekt tränas och sedan en annan post tränas utan omskolning objekt från den första uppsättningen, då det finns en enorm minskning i erkännande prestanda på den första uppsättningen. Dessutom, erkännande prestanda för en enda post, tränas till kriterium efter den första uppsättningen, sjunker ännu mer efter en annan enda post utbildas till kriterium. Det var liten förbättring när lågviktare tränades samtidigt som man höll större vikter fast. Det var en minskning av mängden störningar när extra dolda enheter lades till systemet för varje föremål tränas, men bara när resten av nätverket hölls fast medan varje nytt objekt utbildades. När alla vikter fick ändras förbättrades inte de ökade resurserna (antal dolda enheter och anslutningar).
Katastrofrisk glömmer är ett välkänt fenomen som uppstår i problemet med livslångt/fortlöpande lärande REF ).
Connectionist models of recognition memory: Constraints imposed by learning and forgetting functions
{'venue': 'Psychological Review', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Medicine']}