Intrinsisk motivation, centralt involverad i spontan utforskning och nyfikenhet, är ett avgörande begrepp inom utvecklingspsykologi. Det har hävdats vara en avgörande mekanism för öppen kognitiv utveckling hos människor, och som sådan har fått ett växande intresse från utvecklingsrobotister under de senaste åren. Målet med detta dokument är trefaldigt. För det första ger det en syntes av de olika tillvägagångssätten hos inneboende motivation inom psykologi. För det andra hävdar vi, genom att tolka dessa metoder i en beräkningsmässig förstärkningsram, att de inte är operativa och ibland till och med inkonsekventa. För det tredje lägger vi grunden för en systematisk operativ studie av inneboende motivation genom att presentera en formell typologi för möjliga beräkningsmetoder. Denna typologi bygger delvis på befintliga beräkningsmodeller, men presenterar också nya sätt att konceptualisera inneboende motivation. Vi hävdar att den här typen av beräkningstypologi kan vara användbar för att öppna nya vägar för forskning både inom psykologi och utvecklingsrobot. Nyckelord: egen motivation, kognitiv utveckling, belöning, förstärkande inlärning, utforskande, nyfikenhet, beräkningsmodellering, artificiell intelligens, utvecklingsrobotar Det finns en bred mångfald av motivationssystem i levande organismer, och människor i synnerhet. Det finns till exempel system som driver organismen att upprätthålla vissa nivåer av kemisk energi, som inbegriper intag av livsmedel, eller system som driver organismen att upprätthålla sin temperatur eller sin fysiska integritet i ett viabilitetsområde. Inspirerad av dessa typer av motivation och deras förståelse av (neuro-) etologer, har robotister byggt maskiner utrustade med liknande system i syfte att förse dem med autonomi och egenskaper av liv-liknande intelligens (Arkin, 2005). Till exempel sowbug-inspirerade robotar (Endo och Arkin, 2001), ber mantis robotar (Arkin et al., 1998) hundliknande robotar (Fujita et al., 2001 ) har konstruerats. Vissa djur, och detta är mest framträdande hos människor, har också mer allmänna motiv som driver dem att utforska, manipulera eller sondera sin miljö, främja nyfikenhet och engagemang i lekfulla och nya aktiviteter. Denna typ av motivation, som kallas inneboende motivation av psykologer (Ryan och Deci, 2000), är avgörande för sensorimotorisk och kognitiv utveckling under hela livslängden. Det finns en stor litteratur inom psykologi som förklarar varför det är nödvändigt för kognitiv tillväxt och organisation, och undersöker den faktiska potentiella kognitiva processer underliggande inneboende motivation (Berlyne, 1960; Csikszentmihalyi, 1991; Deci och Ryan, 1985; Ryan och Deci, 2000; White, 1959). Detta har samlat ett växande antal forskares intresse för utvecklingsrobotar under de senaste åren, och flera beräkningsmodeller har utvecklats (se Barto et al., 2004; Oudeyer et al., 2007 för recensioner). Själva begreppet inneboende motivation har dock aldrig riktigt diskuterats konsekvent och kritiskt ur beräkningssynpunkt. Det har använts intuitivt av många författare utan att fråga efter vad det egentligen betyder. Det första målet och bidraget i detta dokument är således att presentera en översikt över detta begrepp inom psykologi, följt av en kritisk omtolkning i beräkningstermer. Vi visar att de eftergifter som ges i psykologin i själva verket är otillfredsställande. Som en följd av detta kommer vi att lägga grunden för en systematisk operativ studie av inneboende motivation genom att presentera en typologi av möjliga beräkningsmetoder, och diskutera om det är möjligt eller användbart att ge en enda allmän beräkningsmässig defi nition av inneboende motivation. Den typologi som vi kommer att presentera bygger delvis på befintliga beräkningsmodeller, men presenterar också nya sätt att konceptualisera inneboende motivation. Vi kommer att försöka fokusera på hur dessa modeller förhåller sig till varandra och föreslå en klassificering i breda men distinkta kategorier. INTRINISK MOTIVATION FRÅN PSYCHOLOGISTENS STÄLLNINGSPUNKT Enligt Ryan och Deci (2000) (s. 56), är intrinsisk motivation definieras som att göra en aktivitet för dess inneboende tillfredsställelse snarare än för någon separat konsekvens. När man i sig är motiverad, får man en person att handla för det roliga eller den utmaning som det innebär snarare än på grund av yttre produkter, påtryckningar eller belöningar. Intrinsisk motivation är tydligt synlig hos unga spädbarn, som konsekvent försöker greppa, kasta, bita, squash eller skrika på nya objekt de stöter på. Även om mindre viktiga som de växer, mänskliga vuxna är fortfarande ofta i sig motiverade medan de spelar korsord, gör målningar, gör trädgårdsarbete eller O u d e y e r a nd K a p l a n Frontiers i Neurorobotics  på november 2007  på volym 1  och artikel 6 2 läsa bara romaner eller titta på filmer. Men för att få en klarare bild av den inneboende motivationen måste man förstå att den har defi nerats i motsats till extrinsisk motivation: Extrinsisk motivation är en konstruktion som gäller när en aktivitet görs för att uppnå något åtskiljbart resultat. Extrinsisk motivation står således i kontrast till inneboende motivation, som syftar på att göra en aktivitet helt enkelt för att njuta av själva aktiviteten, snarare än dess instrumentala värde. (Ryan och Deci, 2000) Vi ser att en central egenskap som skiljer mellan inneboende och yttre motivation är instrumentalisering. Vi ser också att begreppen inneboende och yttre motiv skiljer sig från begreppen inre och yttre motiv. I beräkningslitteraturen används ibland "intrinsic" som synonym till "intern" och "extrinsic" som synonym till "extern". Men det är i själva verket en förvirring. Det finns faktiskt extrinsiska motiv som kan vara interna och vice versa. I själva verket finns det olika typer av instrumentaliseringar som kan klassas som mer eller mindre självdefinierade (Ryan och Deci, 2000). Låt oss ge exempel för att vara tydligare. Ett barn som gör sina läxor grundligt kan till exempel motiveras av att undvika sina föräldrars sanktioner, om det inte skulle göra det. Orsaken till åtgärder är här tydligt yttre, och läxorna görs inte för dess egen skull utan för det separata resultatet av att inte få sanktioner. Här är barnet extrinistiskt och externt motiverat. Å andra sidan är det möjligt att ett barn kan göra sina läxor grundligt, eftersom han är övertygad om att det kommer att hjälpa honom att få det jobb han drömmer om, senare när han kommer att bli vuxen. I detta fall är orsaken till handling internt genererad, och läxorna återigen inte uppnås för sin egen skull utan eftersom barnet tror att det kommer att leda till den separata resultatet av att få ett bra jobb. Slutligen är det också möjligt att ett barn gör sina läxor grundligt för skojs skull, och eftersom han upplever glädje i upptäckten av ny kunskap eller anser till exempel dess matte problem lika roligt som att spela ett videospel. I detta fall är dess beteende i sig (och internt) motiverat. Dessa olika typer av motiv kan också ibland överlappas eller blandas in i samma globala verksamhet. Till exempel är det ganska möjligt att ett barn som gör sina läxor delvis är extrinistiskt motiverat genom att få ett högt betyg vid examen och delvis i sig motiveras av att lära sig nya intressanta saker. Tänk dig till exempel också ett barn som i sig är motiverat av att spela tennis men som måste cykla för att komma till tennisbanan (och inte tycker särskilt mycket om att cykla). I detta fall, ridning av cykeln är en inre och extrinsiskt motiverat beteende som snurrar ur det inneboende motiverade beteendet att spela tennis. Vad är det som gör en verksamhet i sig själv motiverande? Med tanke på denna breda skillnad mellan inneboende och extrinsiska motiv har psykologer försökt bygga teorier om vilka funktioner i aktiviteterna som gör dem inneboende motiverande för vissa människor (och inte alla) vid vissa tillfällen (samma aktivitet kan i sig vara motiverande för en person vid en given tidpunkt, men inte mer senare). De har studerat hur dessa motiv skulle kunna genomföras funktionellt i en organism, i synnerhet människor, och flera teoretiska riktningar har presenterats. Driver för att manipulera, kör för att utforska. På 1950-talet började psykologer med att försöka ge en redogörelse för inneboende motivation och undersökande aktiviteter på grundval av teorin om drivkrafter (Hull, 1943), som är speci c vävnad defi cits som hunger eller smärta som organismerna försöker minska. Till exempel (Montgomery, 1954) föreslog en enhet för prospektering och (Harlow, 1950) en enhet för att manipulera. Denna drive namngivning metod hade många brister som kritiserades i detalj av White (1959): inneboende motiverade undersökande aktiviteter har en fundamentalt annorlunda dynamik. De är i själva verket inte homeostatiska: den allmänna tendensen att utforska är inte ett fullbordande svar på en påfrestande perturbation av organismens kropp. Minskad kognitiv dissonans. Några forskare föreslog sedan en annan konceptualisering. Festingers teori om kognitiv dissonans (Festinger, 1957) hävdade att organismer är motiverade att minska dissonans, vilket är inkompatibiliteten mellan inre kognitiva strukturer och de situationer som för närvarande uppfattas. Femton år senare förklarade Kagan att en primär motivation för människor är att minska osäkerheten i betydelsen "okompatibilitet mellan (två eller fler) kognitiva strukturer, mellan kognitiv struktur och erfarenhet, eller mellan strukturer och beteende" (Kagan, 1972). Men dessa teorier kritiserades på grundval av att mycket mänskligt beteende också är avsett att öka osäkerheten, och inte bara att minska den. Mänskligheten verkar leta efter vissa former av optimalitet mellan helt osäkra och helt vissa situationer. Optimal inkongruens. År 1965 utvecklade Hunt idén att barn och vuxna söker optimal inkongruens (Hunt, 1965). Han betraktade barn som informationsbehandlingssystem och konstaterade att intressanta stimuli var sådana där det fanns en diskrepans mellan de upplevda och standardnivåerna av stimuli. För, Dember och Earl, den inkongruens eller diskrepans i inneboende-motiverade beteenden var mellan en persons förväntningar och egenskaperna hos stimulansen (Dember och Earl, 1957). Berlyne utvecklade liknande föreställningar när han konstaterade att de mest givande situationerna var de med en mellanliggande nivå av nyhet, mellan redan bekanta och helt nya situationer (Berlyne, 1960). Motivering för effekt, personligt orsakssamband, kompetens och självbestämmande. Så småningom föredrog en sista grupp forskare begreppet utmaning framför begreppet optimal inkongruens. Dessa forskare uppgav att det som drev mänskligt beteende var en motivation för effekt (White, 1959), personligt orsakssamband (De Charms, 1968), kompetens och självbestämmande (Deci och Ryan, 1985). I grund och botten, dessa metoder hävdar att det som motiverar människor är graden av kontroll de kan ha på andra människor, externa objekt och sig själva, eller med andra ord mängden av effektiv interaktion. På liknande sätt har begreppet optimal utmaning lagts fram, till exempel i teorin om "Flow" (Csikszentmihalyi, 1991). Efter att ha gjort en bred genomgång av inneboende motivation i psykologi, kommer vi här att börja ta en beräkningssyn. Till att börja med kommer vi att beskriva hur motiv i allmänhet utformas och används i dator- och robotarkitekturer. Vi kommer då att presentera en uppsättning viktiga distinkta dimensioner, bland vilka den inneboende-extrinsiska distinktionen, som är användbara för att organisera utrymmet för möjliga motivationssystem. Medan motivation ibland genomförs på ett implicit sätt i enkla robot arkitekturer, såsom fototaxi i Braitenberg fordon (Braitenberg, 1984), Det är nu ganska vanligt att genomföra det direkt och uttryckligen i form av en modul som spårar värdet av ett antal interna "motivationella" variabler och sänder signaler till resten av arkitekturen (Arkin, 2005; Breazeal, 2002; Huang och Weng, 2004; Konidaris och Barto, 2006). Till exempel stöter man ofta på en energinivåvariabel, som förknippas med en komfortzon (dvs. en rad olika värden), och när denna variabel kommer ut ur denna zon, sänder systemet signaler till resten av arkitekturen, och till åtgärdsvalsmodulen i synnerhet, så att roboten hittar en laddningsstation så snart som möjligt. Detta homeostatiska system kan också implementeras som en Hullian drive (Hull, 1943, Konidaris och Barto, 2006), energinivån är en variabel från 0 (helt otillfredsställande) till 1 (mättad), och ständigt skicka sitt värde till åtgärden urvalssystem för att upprätthålla det så nära 1 som möjligt. Vad är inneboende motivation? www.existresin.org 3 Beräkningsförstärkning Lärande och belöningar. Det är ofta fallet i robotsystem att åtgärdsstrategin som gör det möjligt att hålla motivationsvariabler så mättade som möjligt varken är fixed eller initialt handkodad, utan snarare bör läras. Den standardram inom vilken detta sker är "beräkningsförstärkningslärande (CRL)" (Sutton och Barto, 1998). Detta ramverk har infört många algoritmer som är inriktade på fi nding strategier för att maximera "vinster", vilket är det centrala konceptet för CRL. Vad som är mycket viktigt är att betydelsen av termen "lön" används på ett särskilt tekniskt sätt i CRL och skiljer sig från betydelsen av termen "lön" i psykologi, och särskilt i teorin om operant konditionering (Skinner, 1953). Dessa två betydelser överlappar emellertid varandra och detta har lett till ett antal förvirringar i litteraturen. I gemenskapens referenslaboratorium är en "avkastning" tekniskt sett endast en numerisk kvantitet som mäts kontinuerligt och används för att driva mekanismen för åtgärdsval så att det kumulerade värdet av denna kvantitet i framtiden maximeras. CRL-teorin är helt agnostisk om vad/hur/där detta värde genereras. För att komma tillbaka till robotar som implementerar etologiskt inspirerade motivationssystem kan detta värde till exempel vara värdet av robotens interna energinivå. Men, och det är så CRL ofta används i beräkningslitteraturen, detta värde kan också sättas direkt av en mänsklig ingenjör eller av ett externt program byggt av en mänsklig ingenjör. Till exempel, ett antal experiment där ingenjörer försöker bygga robotar som kan gå framåt har använt CRL algoritmer med en belöning är ett värde som kommer från ett externt system (t.ex. kamera i taket) observera hur snabbt (eller inte) roboten rör sig (värdet är hastigheten). Det är i dessa experiment som termen "belöning" överlappar termen "belöning" som används i den operantkonditionerande litteraturen, och där det betecknar att man får ett externt föremål/event/egendom såsom pengar, mat eller en hög klass i skolan. Men man måste komma ihåg att i en robot som använder CRL kan en belöning vara helt intern defied och vara jämförbar med själva frisättningen av en signalsubstans. Belöningar som en gemensam valuta för flera motiv. En av de trevliga dragen i belöningskonceptet i CRL är att det, eftersom det är en numerisk kvantitet, kan fungera som en "gemensam valuta" bland flera samexisterande motiv i en enda arkitektur (McFarland och Bosser, 1994). I en typisk organism kan naturliga eller artifi ciella, olika och möjligen konflektiva motiv försöka driva åtgärder i vissa riktningar: till exempel kan man ha en drivkraft för energinivåunderhåll samexisterande med en drivkraft för fysiskt integritetsunderhåll, en drivkraft för sömn och en drivkraft som driver på sökandet efter arbetsmarknadens parter. För att arbitrera mellan de möjligen sammanflätande handlingar som alla dessa motiv medför, använder man möjligheten att numeriskt jämföra de förväntade belöningar som är förknippade med var och en av dem. Dessutom ser man ofta arkitekturer där en (eventuellt adaptiv) numerisk vikt är associerad med var och en av dessa belöningar (Konidaris och Barto, 2006). Interna och externa motiv. Med tanke på detta arkitektoniska ramverk för att implementera motiv i en robot kan man undersöka en första typ av distinktion mellan interna och externa motiv. Denna skillnad gäller autonomi och ligger i den funktionella placeringen av den mekanism som beräknar/genererar belöningen. Om belöningen, dvs. den numeriska kvantitet som systemet måste maximera, kommer från utsidan av det autonoma systemet, då kallas det extern. Detta är det ovan nämnda exemplet på den vandrande roboten som drivs av en belöning som kommer från en människa eller ett system med en kamera monterad i taket. Om belöningen beräknas och genereras internt av det autonoma systemet, då kallas det internt. Detta är det ovan nämnda exemplet på belöningen i samband med mättnaden av en energiunderhållsdrift. Denna skillnad sammanfattas i figur 1. Men denna skillnad kan ibland vara försåtlig när det gäller robotar. Datorer tillåter oss att göra manipulationer som är omöjliga med människor. Till exempel kunde en ingenjör mycket väl bygga en autonom maskin som är kapabel att själv övervaka om den går framåt eller inte och i vilken hastighet, och kunde införliva i robotens inre arkitektur en motivation att gå framåt så snabbt som möjligt. I praktiken kommer detta att ge mer eller mindre samma beteende som med gångdetekteringssystemet monterat på taket, men tekniskt sett har vi här en intern belöning (vilket ändå är extrinsiskt som vi kommer att se). Naturligtvis är denna typ av manipulation inte möjlig med människor, och det är mycket mer diffi kult att hitta denna typ av "limit" exempel i människor. Intrinsiska mot extrinsiska motiv. Nu kommer vi till hur vi kan konceptualisera skillnaden mellan inneboende och extrinsiska motiv i detta beräkningsramverk. Vi såg tidigare att inneboende motivation defi nerades i psykologi som karaktäriserande aktiviteter som var "kul" eller "utmattning" för deras egen skull, medan extrinsisk motivation karakteriserade aktiviteter som uppnåddes för att nå ett specifikt mål defi c separat. För en dataforskare är dessa överträdelser i själva verket ganska vaga och skulle kunna beräknas på olika sätt som inte är förenliga med varandra. För det första verkar det som om de egenskaper som gör en aktivitet i sig motiverande (det "roliga", "utmaningen", "nyheten", den "kognitiva dissonansen" eller den "optimala inkongruensen") är avgörande för själva defi nitionen av inneboende motivation, men det finns ingen unifid strategi eller enighet om vad de egentligen är i psykologilitteraturen. För det andra är begreppet mål eller instrumentalisering som skiljer sig från extrinsic i själva verket tvetydigt. Man kan till exempel föreställa sig att det finns en motivation som ger en positiv belöning varje gång man stöter på en ny situation. I en CRL ram, systemet försöker maximera belöningar, och så att få belöningar är ett mål! Således sökandet efter nya situationer, som är typiskt presenteras Figur 1. Skillnaden mellan externa och interna motiv i CRL-ramverket: i externt motiverat beteende beräknas belöningar utanför agenten och påtvingas den, medan belöningar i internt motiverat beteende beräknas inuti agenten och självbestäms. Denna figran är inspirerad av Barto et al. (2004)................................................................ O u u d e e r a n d K a p l a n 4 som inneboende motiverade beteende i psykologi litteratur, styrs av målet att få interna belöningar, och så är tekniskt extrinsiskt motiverade. Vi ser alltså att begreppet "separat mål" som används för att defi ne extrinsic motivation är för vagt och bör förmodligen ändras med ett antal specifi c egenskaper. Men vilka egenskaper ska känneteckna ett mål som är involverat i extrinsisk, och inte inneboende, motivation? Problemet med att definiera just en distinktion blir ännu svårare på grund av det faktum att, som vi har sett ovan, inneboende och extrinsiska motiv inte är exklusiva begrepp: en viss aktivitet kan samtidigt vara i sig själv och extrinsiskt motiverad. Denna diskussion visar dock återigen att distinktionen mellan inre och yttre är annorlunda än distinktionen mellan inre och yttre (vilket, som vi såg, är mycket enklare). Det kan sägas på ett säkert sätt att alla externa motiv, som definieras i föregående stycke, inte är inneboende, oavsett tolkningen av "aktiviteter som är roliga eller utmanande för deras egen skull" är. Det kan också sägas säkert att inre motiv kan vara inneboende eller extrinsiska eller båda. Med tanke på denna förvirring på grund av vetenskapens låga förståelse av motiv hos människor, är det mest pragmatiska tillvägagångssättet till inneboende motivation från en beräkningssynpunkt kanske att undvika att försöka etablera en enda allmän defi nition och snarare försöka göra en karta baserad på en rad befintliga eller möjliga operativa tillvägagångssätt. Detta är vad vi kommer att göra i nästa avsnitt, samt identifiera exempel på beräkningsmässig defied motiveringar som inte skall betraktas som inneboende. Som vi kommer att se kommer dock denna uppräkning av exempel att leda oss till ett förslag om en sådan allmän beräkningsdefi nition av inneboende motivation. Denna defi nition kommer att beskrivas i diskussionen, och vi kommer att hävda att den, trots att den är icke-intuitiv ur ett psykologiskt teoriperspektiv, kan vara fruktbar för organisationen av forskningen. För att göra landskapet av motivationen mer komplett, måste man också presentera skillnaden mellan två viktiga klasser av motivation: homeostatiska och heterostatiska. Den vanligaste typen av motivation som finns i robotar, som förmodligen också är den vanligaste i djurriket, är homeostatiska system som består i att driva organismer att upprätthålla några av sina egenskaper i en "viabel" eller "komfort" zon. Detta är ett exempel på motivationen för att bibehålla batterienergin över ett visst tröskelvärde (och nödvändigtvis under ett maximum som inte kan överskridas) eller en motivation för att upprätthålla en mellannivå av social stimulans (Breazeal, 2002). I ett hulliskt perspektiv motsvarar homeostatiska motiv drifter som kan mättas (t.ex. är en mattur mättnad efter att ha ätit tillräckligt med mat). På motsatt sida finns heterostatiska motivationssystem som ständigt driver bort en organism från dess vanliga tillstånd. Homeostatiska motiv är system som försöker kompensera effekten av perturbationer (yttre eller inre) på organismen, medan heterostatiska motiv är system som försöker (själv-) störa organismen ur dess jämvikt. I hullianska termer är heterostatiska motiv drivkrafter som inte kan mättas. Som vi ser nedan kan det till exempel finnas en motivation att uttryckligen driva på en organism för att söka efter nya situationer: i gemenskapens referenslaboratorium ges belöningar varje gång en ny situation uppstår. I detta fall finns det ingen jämvikt stat som motivationen försöker upprätthålla, men snarare organismen skulle permanent få belöning om det skulle uppleva nyhet om och om igen (men notera att det är möjligt att föreställa sig ett motivationssystem som ger belöningar endast när nyhet upplevs på en mellanliggande frekvensnivå, i vilket fall detta blir en homeostatisk motivation). Fast vs. adaptiv motivation. Slutligen, en sista men lika viktig distinktion är fi xed vs. adaptiv egenskapen hos motivationssystem. I psykologiska termer är ett fixed-motivationssystem ett system som alltid kommer att värdera samma sensorimotoriska situation på samma sätt under hela individens livstid. I ett CRL-ramverk är ett fi xed-motivationssystem ett system som alltid kommer att ge samma belöning för samma sensorimotoriska situation under individens livstid 1. Tvärtom är ett adaptivt motivationssystem ett system som kommer att värdera samma situation på olika sätt som tiden går (eller, inom ramen för referenslaboratoriet, kommer det inte nödvändigtvis att ge samma belöning för samma situation som tiden går). Till exempel kan motivationen för energiunderhåll fastställas om området för energikomfort alltid förblir detsamma, eller kan vara adaptiv om till exempel individens kropp växer med tiden och motivationen genomförs på ett sådant sätt att komfortzonen skiftar sina gränser i enlighet med detta. Om en individ kan komma ihåg den situation som den redan har upplevt, då är en drivkraft för nyhet adaptiv: en situation som var ny och därmed attraktiv någon gång, kommer inte att vara längre efter att ha upplevt det. I litteraturen (t.ex. Barto och Simsek, 2005; Bonarini et al., 2006; Huang and Weng, 2002; Kaplan and Oudeyer, 2003; Marshall et al., 2004; Merrick and Maher, 2008; Oudeyer et al., 2005 Oudeyer et al.,, 2007 Schmidhuber, 1991; Thrun, 1995). Ändå är de oftast ad hoc och det är inte klart att förstå hur de förhåller sig till varandra och till de allmänna begreppen i psykologilitteraturen. Som vi kommer att visa verkar det också som om en stor uppsättning potentiellt intressanta beräkningsmetoder ännu inte har genomförts och studerats. Målet med detta avsnitt är att presentera en typologisk och formell ram som kan göra det möjligt för forskare att förstå bättre och kartlägga utrymmet för möjliga modeller. Denna typologi är resultatet av flera års teoretisk utveckling och faktisk praktik av beräkningsmodeller av inneboende motivationssystem Oudeyer, 2003, 2007a,b; Oudeyer och Kaplan, 2006; Oudeyer et al., 2005 Oudeyer et al.,, 2007. Den grundar sig på kunskaperna i psykologilitteraturen och de befintliga beräkningsmodellerna, men försöker både att gå vidare med det förras vaghet och att generalisera de särskilda robotiska implementationerna. Ett underliggande antagande i denna typologi är att vi positionerar oss i det beräkningsstärkande utbildningsramverket (CRL). Därför bygger typologin på en formell beskrivning av de olika typer av belöningsberäkningar som kan betraktas som att definiera ett inneboende motivationssystem. Typologin är inriktad på defi nitionen av belöningar, och lämnar frivilligt ospecified de specifika CRL algoritmer (t.ex. Q-learning eller Sarsa, se Sutton och Barto, 1998 för en presentation av möjliga algoritmer) där det kan kopplas in eftersom vi tror att det är en ortogonal forskningsfråga. Dessutom är det underförstått att dessa belöningar på en viss robot kan integreras med andra typer av belöningssystem (t.ex. hunger, social närvaro,...). Det bör också noteras att när vi presenterar figurer som sammanfattar var och en av de breda typer som vi presenterar, visar vi bara de kognitiva kretsar som är direkt relevanta för det inneboende motivationssystemet, men det är underförstått att det kan finnas många andra moduler som körs samtidigt i den kompletta kognitiva arkitekturen hos en viss robot. I denna typologi har vissa typer av modeller av inneboende belöningar redan implementerats och testats i litteraturen. Ur dessa modeller föreslås ett antal varianter. Några av dessa varianter är nödvändiga förbättringar av de grundläggande modeller som kom som ett resultat av faktiska experiment med robotar. Några andra varianter kommer som naturliga formella varianter och är därför extremt lika i fråga om genomförande, men intressant motsvarar intuitivt några av människans motivation som inte anses klassiskt som inneboende i psykologi. Konsekvensen 1 Här, och som överallt är texten, används termen "sensorimotorisk situation" i dess mest allmänna betydelse och inkluderar till exempel interna fysiologiska variabler. www.existresin.org 5 av detta när det gäller hur den inneboende motivationen ska konceptualiseras beskrivs i diskussionsavsnittet. Slutligen föreslår vi också nya formella modeller av inneboende motivation, som motsvarar viktiga tillvägagångssätt inom psykologin men som aldrig verkar ha undersökts operativt i en beräkningsram. Till vår kännedom är det första gången som en sådan typologi presenteras, och vi hoppas att den kommer att bidra till att strukturera framtida forskning. Men det är också viktigt att förstå vad denna typologi inte är menad att vara: 1. Vi hävdar inte att denna lista är uttömmande eller att det inte skulle finnas något annat sätt att organisera tillvägagångssätt i typer. 2. Listan över formella metoder som vi presenterar är inte avsedd att inkludera metoder för programmering särskilda ekvationer i synnerhet robotar. För beräkning av vissa typer av belöningar har det redan gjorts någon annanstans i litteraturen, och för vissa andra är det ämnet för framtida forskning. Ändå, där det är relevant, vi ger referenser till papper som beskriver praktiska metoder och arkitekturer som gör det möjligt att genomföra en särskild strategi i en viss robot. 3. Denna typologi är inte en översyn av befintliga beräkningsmodeller av inneboende motivation, som finns i Oudeyer et al. (2007), men snarare en presentation av en stor formell ram inom vilken befintliga och framtida modeller kan placeras. 4. Denna typologi säger ingenting om vilken typ av beteende som kan förekomma när en av de presenterade formella modellerna genomförs i en robot och hur långt den kan användas som grund för en öppen utveckling: i själva verket är flera av de presenterade modellerna uttryckligen beteendemotsägande, men de ingår både eftersom de redan har använts som sådana i litteraturen eller på grund av deras formella likhet. Som en följd av detta bör det också noteras att denna typologi, och därmed den allmänna konceptualiseringen av den inneboende motivation som vi föreslår, bygger på de mekanismer som spelar in snarare än på de faktiska resultat som de ger. I det följande organiserar vi utrymmet för beräkningsmodeller av inneboende motivation i tre breda klasser som alla delar samma formella uppfattning om en sensormotorisk fl ow erfaren av en robot. Vi antar att den typiska roboten kännetecknas av ett antal sensoriska kanaler, betecknade s i, och motoriska kanaler betecknade m i, vars värden ständigt fl ow med tiden, därav notationer s i (t) och m i (t) (se figur 2). Vektorn för alla sensormotorvärden vid tiden t betecknas SM (t). Tre funktioner är viktiga för följande beräkningsmodeller: 1. Dessa kanaler kan motsvara någon form av fysisk eller inre variabel av en robot (till exempel kommer från infra-röda sensorer, mikrofonsensorer, virtuella interna sensorer som en ansiktsnärvaro detektor, låg nivå gemensamma värden för en arm, global riktning rörelse i kroppen,...); 2. vad dessa sensoriska kanaler faktiskt är, dvs. deras "mening", beaktas INTE; 3. den uppsättning sensorimotoriska kanaler som beaktas i inneboende motivation åtgärder i en situation kan vara mindre än uppsättningen av alla sensorimotoriska kanaler tillgängliga för roboten. En första beräkningsmetod för inneboende motivation bygger på mått på dissonanser (eller resonanser) mellan de situationer som en robot upplever och den kunskap och de förväntningar roboten har om dessa situationer. Här kan ordet "situation" också syfta på en passiv observationsaktivitet där en robot inte gör något annat än fokuserar sin uppmärksamhet på en viss aspekt av miljön, på en aktiv aktivitet där roboten utför handlingar och jämför det faktiska resultatet av sina handlingar med dess kunskap och förväntningar om dessa handlingar. Inom detta tillvägagångssätt finns det två sub-approacher relaterade till hur kunskap och förväntningar representeras: information theoretic/distributional och prediktiv. Information teoretiska och fördelningsmodeller. Detta tillvägagångssätt är baserat på användningen av representationer, byggda av roboten, som uppskattar fördelningen av sannolikheter för att observera vissa händelser e k i särskilda sammanhang, defi neras som matematiska konfirationer i sensorimotorn fl ow. Det finns flera typer av sådana händelser, men de sannolikheter som mäts är vanligtvis sannolikheten för att observera ett visst tillstånd SM k i sensorimotorn fl ow, betecknad P (SM k ), eller sannolikheten för att observera särskilda övergångar mellan stater, såsom P (SM k (t ), SM l (t + 1)), eller sannolikheten för att observera ett visst tillstånd efter att ha observerat ett givet tillstånd P (SM k (t + 1)) SM l (t ). Här kan tillstånden SM k vara antingen direkta numeriska prototyper eller kompletta regioner inom sensormotorutrymmet (och det kan innebära en mekanism för diskretisering av utrymmet). I följande, Vi kommer att överväga alla dessa eventualiteter möjligt och bara använda den allmänna notation P (e k ). Vi kommer att anta att roboten har en mekanism som gör det möjligt för den att bygga internt, och som den upplever världen, en uppskattning av sannolikheten för fördelning av händelser över hela utrymmet E av möjliga händelser (men utrymmet för möjliga händelser är inte predefied och bör också upptäckas av roboten, så typiskt är detta ett inledningsvis tomt utrymme som växer med erfarenhet). Slutligen använder vi begreppet entropi, som kännetecknar distributionsfunktionens form, för diskreterade utrymmen: (1) och för kontinuerliga utrymmen: Figur 3 sammanfattar den allmänna arkitekturen hos informationsteoretiska metoder för inneboende motivation. Tendensen att i sig lockas av nyhet har ofta använts som exempel i litteraturen på inneboende motivation. Ett enkelt sätt att beräkna genomföra 6 det är att bygga ett system som, för varje händelse e k som faktiskt observeras, kommer att generera en belöning r (e k ) omvänt proportionell mot dess sannolikhet för observation: där C är en konstant. Denna belöningsberäkningsmekanism kan sedan integreras i en CRL-arkitektur, som kommer att välja åtgärder så att den förväntade kumulerade summan av dessa belöningar i framtiden kommer att maximeras. I själva verket kommer detta att vara implicit i alla följande defi nitioner, som koncentrerar sig på den explicita mekanismen för defi ning och computing belöningar. Olika modeller baserade på UM-liknande mekanismer implementerades i beräkningslitteraturen (t.ex. Huang och Weng, 2004). Det har också ofta föreslagits inom psykologi och utbildning att människor har en naturlig benägenhet att lära och assimilera (Ryan och Deci, 2000). I informationsteoretiska termer kan denna uppfattning om assimilering eller om "läroglädje" modelleras av den minskade osäkerheten i kunskapen om att roboten har av världen efter en händelse e k har hänt: Exempel på genomförande av denna information vinna motivation kan hittas till exempel i Fedorov (1972) och Roy och McCallum (2001) (men notera att i detta papper termen "motivation system" används inte). Det bör noteras att den i praktiken inte nödvändigtvis är dragbar i kontinuerliga utrymmen. I själva verket är detta potentiellt ett gemensamt problem för alla fördelningsmetoder. Nöjet att uppleva överraskning presenteras också ibland. Överraskning förstås normalt som observation av en händelse som bryter mot starka förväntningar, dvs. en händelse som inträffar och som starkt förväntades inte inträffa. Mathematically kan man modellera det som: där C är en konstant. Observera att detta skiljer sig något från UM i att det finns en icke-linjär ökning av belöning som nyhet ökar. En händelse kan vara mycket ny och givande för UM, men inte särskilt förvånande om man inte förväntade sig mer en annan händelse att äga rum i stället för det (t.ex., någon slumpmässig händelse i en fl på enhetlig distribution är ny och givande för UM men inte förvånande och mycket lite givande för DSM). Vad är inneboende motivation? www.existresin.org Motivering till spridningsförtrogenhet (DFM). I psykologilitteraturen hänvisar inneboende motiv i allmänhet till mekanismer som driver organismer att utforska sin omgivning. Ändå finns det direkta varianter av tidigare möjliga system som är både enkla och intuitivt motsvarar befintliga former av mänsklig motivation. Till exempel, att ändra tecknet på UM skulle modellera en motivation att söka situation som mycket ofta observeras, och därmed bekant: Vi kommer att diskutera nedan om vi ska betrakta detta som en inneboende motivation. Förutsägbara modeller. Ofta, kunskap och förväntningar i robotar representeras inte av fullständiga sannolikhetsfördelningar, utan snarare baserat på användningen av prediktorer såsom neurala nätverk eller stöd vektor maskiner som gör direkta förutsägelser om framtida händelser (se figur 4). I denna typ av arkitektur är det också möjligt att defi ne computationally olika former av inneboende motivationer. Dessa prediktorer, betecknade Π, används vanligtvis för att förutsäga vissa egenskaper Pr k eller sensorimotor stater SM k som kommer att hända i framtiden (nära eller långt) med tanke på den aktuella sensorimotor sammanhang SM(t) och möjligen tidigare sensorimotor sammanhang. På samma sätt som ovan, kommer vi att beteckna alla egenskaper och stater under den generiska notation e k. Vi kommer också att använda notation SM (→ t) för att beteckna en struktur som kodar den aktuella sensorimotor sammanhang och eventuellt tidigare sammanhang. Således kommer en allmän förutsägelse av ett system att betecknas: Vi defi ne E r (t) som felet av denna förutsägelse, att vara avståndet mellan den förutsagda händelsen e t k ( ) + 1 och den händelse som faktiskt händer e k (t + 1): Figur 4 sammanfattar den allmänna arkitekturen av prediktiva kunskapsbaserade beräkningsmetoder för inneboende motivation. Sedan är det naturligt att föreslå ett första sätt att modellera en motivation för nyhet inom denna ram. Intressanta situationer är de där förutsägelsen fel är högst: där C är en konstant. Exempel på genomförande av denna typ av motivationssystem finns till exempel i Barto et al. (2004) och Thrun (1995).  där C 1 och C 2 är konstanter. Ändå har denna defi nition nackdelen att lämna justeringen av tröskeln till den mänskliga ingenjörens intuition. Att ha en enda tröskel för hela det sensorimotoriska utrymmet kan faktiskt till och med vara ganska problematiskt i praktiken, eftersom begreppen nyhet och likheter kan variera mycket i olika delar av det utrymmet, och utveckla mekanismer för automatisk adaptiv tröskelering är ett diffi kult problem. Flera forskare har föreslagit ett annat sätt att modellera optimal inkongruens som undviker problemet med att sätta en tröskel, och är relaterad till den informationsvinst mätning som beskrivs i den information teoretiska avsnittet ovan. Det består i att modellera inneboende motivation med ett system som genererar belöningar när förutsägelser förbättras med tiden. Således kommer systemet att försöka maximera förutsägelsen framsteg, d.v.s. minskningen av förutsägelser fel. Förutsägelseframsteg har också kallats "lärandeframsteg" i Oudeyer m.fl. (2007)............................................................................................. För att få en formell modell måste man vara exakt och subtil i hur minskningen beräknas. Ja, som det argumenterades i Oudeyer m.fl. (2007), Det möjliga naiva genomförande som jämför förutsägelser fel mellan ett fönster runt tid t och ett fönster runt tiden t - på är i själva verket nonsens: detta kan till exempel tillskriva en hög belöning till övergången mellan en situation där en robot försöker förutsäga förflyttningen av ett blad i vinden (mycket oförutsägbar) till en situation där det bara stirrar på en vit vägg försöker förutsäga om dess färg kommer att förändras (mycket förutsägbar). Systemet bör inte försöka jämföra mycket olika sensorimotoriska situationer och kvalitativt olika förutsägelser. Det är därför en möjlighet är att använda en mekanism som gör det möjligt för roboten att gruppera liknande situationer i regioner R n där jämförelse är meningsfull. Dessa regioners antal och gränser uppdateras vanligtvis på ett adaptivt sätt. Sedan, för var och en av dessa regioner, roboten övervakar utvecklingen av förutsägelser fel, och gör en modell av deras globala derivat i det förflutna, som defi nes lärande framsteg, och därmed belönar, i dessa regioner. Matematiskt: med SM (t ) som hör till region R n och där Er R n (t) är medelvärdet av förutsägelser fel som gjorts av prediktorn i de senaste τ förutsägelser gjorda om sensorimotoriska situationer SM (t) som tillhör region R n. En detaljerad studie om hur man genomför ett sådant system tillhandahålls i Oudeyer et al. (2007)............................................................................................. Ett annat sätt att beräkna inlärningsframsteg har också föreslagits i Schmidhuber (1991). Den består i att mäta skillnaden i förutsägelsefel hos prediktorn Π, ungefär samma sensormotoriska sammanhang SM (→ t), mellan den första förutsägelsen och en andra förutsägelse som gjorts strax efter att prediktorn har uppdaterats med en inlärningsregel: där Π är den uppdaterade prediktorn efter inlärningsuppdateringen på grund av förutsägelsen Π(SM(→ t))) och uppfattningen av den faktiska konsekvensen e k (t + 1). I analogi med DSM är det också möjligt att använda det prediktiva kunskapsbaserade ramverket för att modellera en motivation till överraskning. Som förklarats ovan kan överraskning förstås som förekomsten av en händelse som var starkt inte förväntat eller som avsaknaden av en händelse som var starkt förväntad. Här, till skillnad från de föregående punkterna, och eftersom överraskning är relaterad till en viss händelse med en kort tidsperiod, finns det en nödvändighet att ha en mekanism som uttryckligen, vid varje steg, modellerar styrkan i förutsägelser, dvs. förväntningar. Därför måste vi införa en metapredictor MetaΠ som försöker förutsäga vid tidpunkten t vad som kommer att vara felet E r (t) av Π vid tidpunkten t:
Förstärkt lärande med glesa belöningar har studerats ofta, med inneboende motivation REF som inspiration för en hel del av det arbetet.
What is Intrinsic Motivation? A Typology of Computational Approaches
{'venue': 'Frontiers in Neurorobotics', 'journal': 'Frontiers in Neurorobotics', 'mag_field_of_study': ['Psychology', 'Medicine', 'Computer Science']}