Nya studier har använt mönsterklassificeringsalgoritmer för att förutsäga eller avkoda aktivitetsparametrar från individuella fMRI aktivitetsmönster. För fMRI avkodning, är det viktigt att välja en lämplig uppsättning voxels (eller funktioner) som indata till dekoder, eftersom närvaron av många irrelevanta voxels kan leda till dålig generalisering prestanda, ett problem som kallas overpassing. Även om individuella voxlar kan väljas baserat på enhetlig statistik, kan den resulterande uppsättningen voxlar vara suboptimal om korrelationer mellan voxlar innehåller viktig information. Här föreslår vi en ny linjär klassificeringsalgoritm, som kallas sparse logistic regression (SLR), som automatiskt väljer relevanta voxels samtidigt som man uppskattar deras viktparametrar för klassificering. Med hjälp av simuleringsdata bekräftade vi att SLR automatiskt kan ta bort irrelevanta voxels och därmed uppnå högre klassificeringsprestanda än andra metoder i närvaro av många irrelevanta voxels. SLR visade sig också effektivt med verkliga fMRI data från två visuella experiment, framgångsrikt identifiera voxels i motsvarande platser av visuell cortex. SLR-selected voxels ledde ofta till bättre prestanda än de utvalda baserat på ensidig statistik, genom att utnyttja korrelerat buller bland voxels för att möjliggöra bättre mönsterseparation. Vi drar slutsatsen att SLR ger en robust metod för fMRI-avkodning och kan även fungera som ett fristående verktyg för val av voxel. © 2008 Elsevier Inc. Alla rättigheter förbehållna. Konventionell fMRI dataanalys har främst fokuserat på voxel-by-voxel funktionell kartläggning med hjälp av den allmänna linjära modellen, där stimuli eller beteendeparametrar används som regressorer för att redogöra för BOLD-svaret (Friston et al., 1995; Värre et. al., 2002). Nyligen har mycket uppmärksamhet ägnats åt mönsterklassificering, eller avkodning, som ett alternativ till konventionell funktionell kartläggning. I detta tillvägagångssätt kan fMRI aktiveringsmönster för många voxels användas för att karakterisera subtila skillnader mellan olika stimuli eller individers beteende/mentala tillstånd. Det pionjärarbete som utfördes av Haxby et al. (2001) har visat att brett fördelade fMRI-aktivitetsmönster kan diskriminera bilder av visuella objekt, som inte lätt kan särskiljas genom den konventionella funktionella kartläggningen (se även Strother m.fl., 2002; Spiridon och Kanwisher, 2002; Cox och Savoy, 2003; Carlson m.fl., 2003; Mitchell m.fl. Al., 2004; Laconte et. al., 2005; O'Toole et al., 2005 för andra exempel). Dessutom har avkodningsmetoden visat sig användbar när det gäller att ta fram information om finskaliga kortikala representationer, som man har trott ligger bortom fMRI:s resolution. Tong (2005, 2006) visade att visuella egenskaper på låg nivå, såsom orientering och rörelseriktning, kan avkodas på ett tillförlitligt sätt genom att gruppera svagt selektiva signaler i enskilda voxlar. Eftersom kortikala kolumner som representerar orientering eller rörelseriktning tros vara mycket mindre än standard fMRI-voxlar, kan signalen i varje voxel uppstå från voxelprovtagning med fördomar på grund av variation i fördelningen av kortikala funktionskolonner eller deras vaskulära tillförsel. Decoding analyse kan utnyttja sådan subtil information, som finns i enskilda voxels, för att få robust selektivitet från ensemble aktivitetsmönstret för många voxels ("förnimmelse särdrag selektivitet"). För omfattande granskningar, se Haynes och Rees (2006) och Norman et al. (2006). För fMRI-avkodning är det av flera skäl viktigt att välja en lämplig uppsättning voxlar som indata för klassificeringsanalys. För det första kan val av voxel förbättra avkodningsprestandan. fMRI-avkodningsanalys sker i form av övervakad inlärning (klassificering eller regression), där voxelvärden är indatavariabler eller "funktioner", och en stimulans/uppgiftsparameter är utdatavariabeln eller'märkt'-kategorin. I övervakad inlärning, alltför många funktioner kan ibland leda till dålig generalisering prestanda, ett problem som kallas overpassing. NeuroImage 42 (2008) Innehållsförteckningar tillgängliga på ScienceDirect NeuroImage j o ur n a l h o m e p a g e : w w w. e l sv i e r. c o m / l o c a t e / y n i m g Med många justerbara modellparametrar förknippade med funktionerna, kan inlärningsmodellen passa till det buller som finns i träningsdata, och generalisera dåligt till nya testdata. I en typisk fMRI experiment, endast tiotals eller kanske hundratals prover (task block eller volymer) erhålls, medan hela hjärnan kan innehålla så många som hundra tusen voxels eller funktioner. Således kan fMRI avkodning lätt leda till övermontering om alla tillgängliga voxels används som inmatningsfunktioner. Stöd vektormaskiner (SVM), en av de mest populära klassificeringarna i fMRI-avkodningslitteraturen, undviker detta problem genom att samtidigt minimera det empiriska klassificeringsfelet och maximera marginalen (Boser et al., 1992; Vapnik, 1998). Generaliseringsprestanda för SVM kommer dock fortfarande att försämras om alltför många irrelevanta funktioner inkluderas. För det andra, Voxel val är också användbart för att förstå neural information kodning. Voxels kan väljas baserat på separat anatomisk eller funktionell kunskap, så att avkodning prestanda för en uppsättning voxels kan jämföras med en annan. Ju högre prestanda desto troligare är det att voxlarna representerar information som är relevant för uppgiften. Även om noggrann undersökning är nödvändig för att avgöra om voxels representerar den avkodade uppgift parametern eller någon annan korrelerad variabel (Kamitani och Tong, 2005), jämförelser av avkodning prestanda för olika hjärnområden kan ge en kraftfull metod för att kartlägga den information som finns tillgänglig i lokala regioner (se även Kriegeskorte et al., 2006). I de flesta tidigare studier har voxels valts ut baserat på anatomiska landmärken, funktionella localizers (t.ex. retinotopisk kartläggning), eller en voxel-by-voxel univariat statistisk analys som erhållits från utbildningsdata eller data från ett separat experiment. De valda voxlarna användes sedan som indatafunktioner för avkodningsanalys. Ett alternativ till voxelval för att minska dimensionaliteten är att projicera det ursprungliga funktionsutrymmet i ett subutrymme med färre dimensioner med hjälp av huvudkomponentanalys (PCA) (Carlson et al., 2003) eller oberoende komponentanalys (ICA). De nya dimensionerna kan sedan användas som indatafunktioner för avkodningsanalys. Sådana tvåstegsmetoder för urval av funktioner och avkodningsanalys har visat sig vara effektiva. Men de kan vara suboptimala eftersom voxel / fenomen urval inte tar hänsyn till diskriminabiliteten av multi-voxel mönster. I detta papper introducerar vi nya linjära klassificeringsalgoritmer för binär och multi-klass klassificering, som vi kommer att hänvisa till som gles logistisk regression (SLR) respektive gles multinomial logistisk regression (SMLR). (Observera att termen SLR kommer att användas för att hänvisa till både binära och multi-klass klassificerare om distinktionen inte är kritisk). SLR är en Bayesian förlängning av logistisk regression, som samtidigt utför funktionen (voxel) urval och utbildning av modellparametrar för klassificering. Den använder automatisk relevansbestämning (ARD) (MacKay, 1992; Neal, 1996) för att bestämma vikten av varje parameter vid uppskattning av parametervärden. Denna process väljer bara några få parametrar som viktiga och rensar bort andra. Den resulterande modellen har en gles representation med ett litet antal uppskattade parametrar. Vid fMRI-avkodning ger denna glesa skattningsmetod en metod för val av voxel (feature), som skulle kunna förbättra avkodningsprestandan genom att undvika övermontering. Dessutom kan voxels utvalda av SLR bidra till att avslöja specifika hjärnregioner, inom en stor uppsättning indata voxels, som är relevanta för en uppgift. Vi använder SLR inte bara som ett alternativ till konventionella klassificeringsmetoder som Fishers linjära discriminant och SVM, utan också som ett funktionsval eller verktyg för "feature ranking". För att rangordna relevansen av voxels, tillämpar vi SLR upprepade gånger på uppsättningar av prover slumpmässigt utvalda från träningsdata, och få en total rang av varje voxel baserat på dess urvalsfrekvens. Efter att voxels har valts ut genom detta rankningsförfarande kan vilken modell eller algoritm som helst användas för klassificering. Vi använder en oberoende testdatauppsättning, som inte används för funktionsval, vid utvärdering av klassificeringsprestanda. Om testdata var inblandade i urvalsprocessen, skulle prestandan bli felaktigt bättre än slumpen även i avsaknad av diskriminerande mönster (Baker et al., 2007). I denna studie utvärderar vi först prestandan hos SLR med hjälp av simulerade data och visar sedan egenskaper för voxels utvalda av SLR med hjälp av två verkliga fMRI dataset. Med hjälp av enkla simuleringsdata visar vi att SLR verkligen kan välja relevanta funktioner (voxels) bland ett stort antal irrelevanta. Detta gör det möjligt för SLR att upprätthålla en hög klassificeringsprestanda i närvaro av irrelevanta egenskaper, medan andra klassificeringsmetoder, såsom SVM och regulariserad logistisk regression (RRR), är mindre robusta. Därefter använder vi SLR till fMRI data som erhållits medan observatörer såg en stimulans i en av fyra visuella kvadranter. Vi finner att SLR väljer voxels vars platser överensstämmer med känd funktionell anatomi. Med hjälp av fMRI data av orientering river stimuli experiment, Vi finner också att SLR-valda voxels kan skilja sig från dem som väljs genom ensidiga jämförelser av olika arbetsförhållanden och kan leda till överlägsen prestanda. Ytterligare analyser tyder på att SLR kan utnyttja korrelationer mellan voxels, som inte kan upptäckas av den konventionella unika statistiken, och därmed uppnå överlägsen avkodning prestanda. Metoder I detta avsnitt beskriver vi först logistisk regression (LR) och multinomiell logistisk regression (MLR), som ger probabilistiska modeller för att lösa binära respektive multi-klass klassificeringsproblem, respektive. Parametrarna i modellerna beräknas med metoden med största sannolikhet. Denna metod kan dock endast tillämpas när antalet prover är större än antalet egenskaper. Här, den logistiska regressionsmetoden utvidgas till en Bayesian ram genom att använda en teknik som kallas automatisk relevansbestämning (ARD) från neurala nätverk litteratur (MacKay, 1992; Neal, 1996). Genom att kombinera LR eller MLR med ARD erhålls sparsam logistisk regression (SLR) eller sparsam multinomiell logistisk regression (SMLR). ARD ger en effektiv metod för beskärning av irrelevanta egenskaper, så att deras tillhörande vikter automatiskt sätts till noll, vilket leder till en gles viktvektor för klassificering. Genom hela papperet är skaklar och vektorer betecknade med kursiv normala ansiktsbokstäver (t.ex. x) och med djärva bokstäver (t.ex. x,  på), respektive. Införlivandet av en vektor x är betecknad med x t. Den linjära discriminant funktion som separerar två klasser S 1 och S 2 representeras av den viktade summan av varje funktionsvärde; t är en vikt vektor inklusive en bias term (nedan kan vi utelämna en bias term). Hyperplanet f(x; ska) = 0 bestämmer gränsen mellan två klasser. LR gör det möjligt att beräkna sannolikheten för att en indata vektor hör till kategori S 2, genom en logistisk funktion, Observera att p varierar från 0 till 1, och är lika med 0,5 när f(x; på) = 0 (dvs.. på gränsen) och närmar sig 0 eller 1 när f(x; på) närmar sig minus oändlighet eller oändlighet (dvs. långt från gränsen). Denna sannolikhet p tolkas som sannolikheten att en indatafunktionsvektor x tillhör klass S 2 (omvänt tillhör x klass S 1 med sannolikhet 1 - p). För matematisk formulering, låt oss införa en binär slumpmässig variabel y sådan att y = 0 för S 1 och y = 1 för S 2. Eftersom N input-output data prover {(x 1,y 1 ),..., (x N, y N )}, är sannolikheten funktionen uttrycks som Sedan varje term i produkten av Eq. (3) representerar sannolikheten för att observera det n:te provet (p n om y n = 1, 1 − p n om y n = 0), produkten representerar sannolikheten att observera hela uppsättningen dataprover. Således skulle vi vilja hitta parametervektorn så att denna sannolikhetsfunktion maximeras. Denna maximering är likvärdig med maximering logaritmen av sannolikhetsfunktionen, Funktionen l( ska) är en ganska komplicerad icke-linjär funktion eftersom p n implicit beror på en parametervektor. Eftersom lutningen och hessian av l( på) kan erhållas i sluten form, kan denna maximering göras genom Newton metoden effektivt (Bishop, 2006, pp. Detta anslag är avsett att täcka utgifter för tjänstemän och tillfälligt anställda som arbetar med politikområdet Hälsa och konsumentskydd. Det noteras att denna optimering alltid konvergerar till en unik maximal punkt eftersom den hessiska matrisen är positiv överallt i parameterutrymmet. För ett prov x-prov för vilket klassen är okänd, tilldelas klass S 2 om f(x; ska) N 0 (eller motsvarande om p-test N 0,5) och klass S 1 om f(x; ska) b 0. Vid klassificeringsproblem i flera klasser har varje klass sin egen linjära särskiljande funktion; där C är antalet klasser. Därefter beräknas sannolikheten för att observera en av klasserna S c med hjälp av softmax-funktionen (Bishop, 2006, s. 356) som Observera att antalet viktparametrar som ska uppskattas är C × D eftersom varje klass har sin egen viktparametervektor (Fig. 1 a)............................................................................................................ Med hjälp av träningsdata, dessa viktparametrar uppskattas genom att maximera följande sannolikhetsfunktion, Denna maximering uppnås igen med Newton metoden eftersom lutningen och Hessian kan skrivas i sluten form (Bishop, 2006, pp. Avsnitt 2B001.c omfattar inte "teknik" för "utveckling", "produktion" eller "produktion" av utrustning som specificeras i avsnitt 2B001.c. För att behandla flerklassens utmatningsetikett på ett liknande sätt som Eq. (3) En binär vektor y=[y (1),..., y (C) ] införs så att y (c) =1 om x tillhör klass S c och y (c) =0 annars. För ett prov x test där klassen är okänd, tilldelas den klass som maximerar P(S 1  på x test ),..., P(S C  på x test ). För neuroimeringsdata är det ofta så att antalet prover är färre än antalet egenskaper (voxlar). LR och MLR är inte tillämpliga på sådana data på grund av den okonditionerade hessiska matrisen. Därför måste viktparametrarna begränsas på något sätt. En metod är att införa en legaliseringsterm med L2 norm, eller motsvarande, för att anta en Gaussian föregående fördelning med en noll medelvektor och en sfärisk kovariansmatris (regulariserad logistisk regression, RLR). Automatisk relevant bestämning (ARD) kan också uppnå detta mål genom att anta en Gaussian tidigare med en noll medelvektor och en diagonal kovariansmatris vars diagonala element är justerbara hyper-parametrar som reglerar möjliga värden för motsvarande viktparametrar. RLR antar den tidigare distributionen som ges av P( ska tillα) = N(0, α − 1 I D ) där I D är identitetsmatrisen av storlek D × D. SLR antar den ARD tidigare ges av där  ska d är den dth elementet av  ska. Skillnaden mellan RLR och SLR tidigare är att alla viktparametrar delar en enda variansparameter i RLR medan varje viktparameter har sin egen justerbara variansparameter i SLR. I full-bayesian formulering, SLR vidare antar den icke-informativa föregående distributionen för hyper-parameters, Den hyper-parametern kallas relevans parametern. Denna parameter styr det möjliga intervallet för en motsvarande viktparameter (se bild). 1 b)............................................................................................................... ARD tidigare kan tillämpas på MLR på ett liknande sätt. Föreskrifterna antas för varje element i viktparametervektorerna för varje klass  en De probabilistiska klassificeringsmodellerna, bestående av EKG. (3), (4), (9), (10) och (7), (8), (11), (12) kallas sparsam logistisk regression (SLR) respektive sparsam multinomiell logistisk regression (SMLR). Viktparametrarna beräknas som det marginella bakre medelvärdet. Eftersom den marginella bakre fördelningen inte kan härledas i sluten form, tillämpar vi variationsvinkeln Bayesian approximation och Laplace approximation (se bilaga A för närmare information). Algoritmen för att beräkna det bakre medelvärdet blir en iterativ algoritm som alternativt uppdaterar två ekvationer: viktparametrar uppdateras samtidigt som relevansparametrar och relevansparametrar uppdateras vid fastställande av viktparametrar. Det visar sig att de flesta av de uppskattade α d s divergerar till oändlighet, och därmed motsvarande vikter ( på d s) blir nollor. Som ett resultat, leder lösningen till en gles modell där många av funktionerna x d är effektivt beskurna. Faul och Tipping (2002) har analyserat sparsamhetens mekanism ur ett matematiskt perspektiv. Här beskriver vi metoden för funktionsval baserat på SLR. Avkodningsförfarandet består av tre steg; 1) urval av funktioner, 2) utbildning av en klassificering och 3) utvärdering av generaliseringsprestanda. Detta avsnitt fokuserar på funktionen urvalsmetod i det första steget. Alla klassificeringar som Fishers linjära discriminant, LR, SVM eller SLR, kan användas i det andra och det tredje steget, när funktionerna väljs. Vår metod kan betraktas som en sorts variabel rankningsmetod. Den variabla rankingmetoden innebär att tilldela en poäng till varje funktion, och sedan välja ett visst antal funktioner enligt deras poäng. I t.ex. T-värdesrankningsmetoden tilldelas ett T-värde som kvantifierar den statistiska skillnaden mellan två räntevillkor varje funktion. Funktioner väljs sedan utifrån deras T-värden. SLR kan användas för att tilldela poäng till funktioner baserat på klassificeringsprestandan och urvalsfrekvensen, som vi refererar till som urvalsräkningsvärde (SC-värde). Grundidén är att funktioner som upprepade gånger väljs ut med bra klassificeringsprestanda bland en mängd olika träningsdatamängder kan vara viktiga, så höga SC-värden bör tilldelas. För att genomföra idén använder vi en form av korsvalidering. Det första steget till att beräkna SC-värden är att dela in den ursprungliga träningsdatamängden i två datauppsättningar enligt vissa pre- har sin egen diskriminant funktion, som beräknar den inre produkten av viktparametervektorn på etiketten (.) och en indatafunktionsvektor (x). Funktionen softmax omvandlar utdata från de diskriminerande funktionerna till sannolikheten att observera varje etikett. Etiketten med största sannolikhet väljs som utmatningsetikett. Binär logistisk regression skiljer sig något från multinomiell logistisk regression. Sannolikheten kan beräknas genom den logistiska omvandlingen av en enda diskriminantfunktion som skiljer två klasser åt (motsvarande 1 – 2 ) t x). SLR använder denna konventionella modell för (multinom) logistisk regression, men uppskattningen av viktparametrar innebär en ny algoritm baserad på automatisk relevansbestämning. b) SLR behandlar viktparametrarna som slumpmässiga variabler med tidigare fördelningar. Den föregående av varje parameter i antas ha en Gaussian fördelning med genomsnitt 0. Precisionen (omvänt varians) av den normala fördelningen betraktas som en hyper-parameter α i, kallas en relevans parameter, med en hyper-prior fördelning definieras av en gammafördelning. Relevansparametern styr intervallet för motsvarande viktparameter. Om relevansparametern är stor, toppar sannolikheten kraftigt vid noll som tidigare kunskap (vänster panel), och därmed tenderar den uppskattade viktparametern att vara partisk mot noll även efter observation. Å andra sidan, om relevansparametern är liten, är sannolikheten brett fördelade (höger panel), och därmed den uppskattade vikt parametern kan ta ett stort värde efter observation. Medan vår iterativa algoritm beräknar den bakre fördelningen av modellen, skiljer sig de flesta relevanta parametrar till oändlighet. Därför blir motsvarande viktparametrar effektivt nollor, och kan beskäras från modellen. Denna process för att fastställa parametrarnas relevans kallas ARD. För närmare information om algoritmen, se bilaga A. specificerad andel (t.ex. 80%-20%). En datamängd används för att uppskatta viktparametrarna för SLR och den andra för att utvärdera klassificeringens prestanda. Genom att generera ett antal slumpmässiga divisioner av den ursprungliga datamängden och upprepa stegen för parameteruppskattning och prestandautvärdering, kan vi få många uppskattningar av viktvektorer med deras motsvarande mått på klassificeringsnoggrannhet. Därefter kan SC-värdet definieras med den totala frekvensen för varje vald funktion, viktad med klassificeringsnoggrannhet (se bild). 2 för scheman). Mer exakt, låt  på k ð och p(k) betecknar den uppskattade parametervektorn och klassificeringsprestanda (procent) som följer av kth-divisionen. Därefter definieras SC-värdet för dth-funktionen av var I(•) betecknar en indikatorfunktion som tar värdet av 1 om villkoret inom parentesen är uppfyllt, 0 annars. K är antalet upprepningar och  ska d k ð  och är uppskattningen av dth-elementet i  och k ð. För att utesluta resultaten av dålig klassificeringsprestanda, ingår endast datauppsättningar med klassificeringsprestanda som överstiger slumpnivå p slump i sammanfattningen. Det bör noteras att en ytterligare datamängd som inte används för att beräkna SC-värden krävs för att utvärdera generaliseringens prestanda för de valda funktionerna. Vi utvecklade en blandningsmått för att kvantifiera effekten av korrelationer mellan egenskaper på klassificeringsprestanda. Blandningsmåttet kvantifierar i vilken utsträckning klassificeringens prestanda underlättas av att det finns korrelerade strukturer i uppgifterna. Beräkning av shufflemåttet innebär slumpvis permutation (shuffling) ordningen av prover inom varje klass och varje funktionsdimension och sedan jämföra klassificeringsprestanda med hjälp av de ursprungliga indata med den med hjälp av bluffed indata. Den logiska grunden bakom blandning är att slumpmässig permutation av ordningen av prover kommer att ta bort eventuella korrelationer mellan funktioner samtidigt som den lokala uppsättningen av värden som observeras för varje funktion och tillstånd. För enkelhetens skull, låt oss överväga ett binärt klassificeringsproblem och fokusera på en funktionsdimension. Prover av denna funktion dimension betecknas av en kolumn vektor z =[z 1 ] t, där z n (c) är det nth provet av klass c och z (c) är insamling av prover som tillhör klass c. Genom att slumpmässigt permutera ordningen av prover inom z (1) och z separat, får vi shuffled funktion värden z suf =[z suf (1),z suf (2) ] t. Efter shuffle operation ovan, eventuella korrelationer mellan den shuffled funktionsdimension och de andra funktion dimensioner elimineras. Observera att blandning inte ändrar marginalfördelningen eftersom endast ordningsföljden för proverna ändras. Genom att applicera shuffle-funktionen på alla funktionsmått kan korrelationerna mellan alla par av dimensionerna tas bort. Med hjälp av de blandade funktionsvärdena och de ursprungliga funktionsvärdena definierar vi shufflemåttet enligt följande; • Tågparametrar för en klassificering med hjälp av de ursprungliga funktionsvärdena och sedan utvärdera klassificeringsnoggrannheten (procent korrekt) p original. • Tåg parametrar för en klassificering med hjälp av blandade funktionsvärden (chuffling tillämpas på alla dimensioner) och sedan utvärdera klassificering noggrannhet p shuffle. • Blandningen mått definieras av p korrelation = p orginal − p shuffle. Bilda. 2............................................................... SLR-baserat rankningsförfarande för voxel. En hel datamängd är slumpmässigt uppdelad i K-par av tränings- och testdataset. För varje par appliceras SLR på träningssetet för att lära sig viktparametrarna, vilket resulterar i glest val av parameter. Därefter utvärderas klassificeringsprestandan med hjälp av testuppsättningen. Poängen för varje parameter (SC-värde) definieras genom antalet urval i SLR-uppskattningar i K-tid, viktade enligt motsvarande provningsresultat (procent korrekt). O. Yamashita m.fl. / NeuroImage 42 (2008) 1414-1429 Eftersom shuffleoperationen i steg 2 använder slumpmässiga tal bör p-shuffle beräknas som genomsnittet av många upprepningar av steg 2 för att ta bort potentiellt buller på grund av slumpmässiga tal. Simuleringsdata Simuleringsdata genererades från två D-dimensionella normala fördelningar med medelvärde för μ 1 och kovarians 1 för klass 1, och med medelvärde för μ 2 respektive kovarians 2 för klass 2. Medel och kovarianer ges genom att D kan vara lika med 10, 100, 500, 1000, 1500, 2000 inmatningsfunktioner. Endast de första 10 särdragen var relevanta för klassificeringen i två klasser; de återstående D-10 särdragen var irrelevanta. Graden av relevans i de första 10 dimensionerna manipulerades av medelvärdena i klass 1, som började från 0,1 och ökade upp till 1,0 med 0,1. Varje dimension hade en avvikelse på 1, och det fanns ingen korrelation mellan dimensionerna. För varje D skapades 100 träningsprover och 100 testprover (50 för varje klass). Vi analyserade simuleringsdata med hjälp av tre klassificeringar; SLR, linjär regulariserad logistisk regression (RRR) och linjär stöd vektor maskin (SVM). För att uppskatta viktparametrar för SLR och RLR använde vi algoritmerna i bilaga A. Antalet iterationer var satt till 500 för SLR respektive 50 för RLR. För SVM använde vi LIBSVM (http://www.csie.ntu.edu.tw/~cjlin/libsvm/) och tillämpade alla standardparametrar (t.ex. Avräkningsparameter C = 1). Varje funktion normaliserades separat för att ha medelvärde 0 och varians 1 innan användning SLR, RLR eller SVM. Vi utvärderade testprestandan genom att utföra 200 Monte Carlo-simuleringar; resultaten visar genomsnittlig klassificeringsprestanda och dess standardfel. Fyra kvadrantstimuli experiment För att utvärdera effekten av SLR-klassaren genomförde vi ett enkelt visuellt experiment där stimuli presenterades i en av de fyra visuella kvadranterna på varje stimulansblock, och platsen för stimulansen måste avkodas. I det fyra kvadrantstimuli-experimentet deltog fyra friska försökspersoner som gav skriftligt informerat samtycke. Experimentet byggde på en konventionell blockdesign. Rött och grönt (CIE-koordinaterna 0.346, 0.299 respektive 0.268 respektive 0.336) visade sig i en av fyra kvadranter (övre höger, nedre höger, nedre vänster och övre vänster, förkortat som "UR", "LR", "LL" och "UL" nedan) i 15 s, följt av 15 s av en fixeringsperiod ('F'). En körning bestod av tre upprepningar av UR-F-LR-F-LL-F-UL-F-block. Ordningen av block randomiserades inte. Varje ämne genomförde 6 körningar. Under försöket erhölls ekoplanära bilder av hela hjärnan (TR=3 s, TE=49 ms, FA 90 grader, FOV 192 × 192 mm, 30 skivor, voxelstorlek 3 × 3 × 5 mm, inget mellanrum; 64 × 64 matris) med hjälp av en 1,5 T MRT-scanner (Shimadzu Marconi, MAGNEX ECLIPSE). En tredimensionell anatomisk scanning erhölls också från varje försöksperson med en T1-vägd RF-FAST-sekvens (TR/TE/TI/NEX, 20 ms/2.26 ms/-/1 FA 40 grader, FOV 256 mm × 256 mm och 256 × 256 matriser), vilket ger sagittalskivor med en tjocklek på 1 mm och en upplösning i planet på 1 × 1 mm. Dessutom förvärvades en tredimensionell anatomisk scanning med samma position som EPI med en T2-vägd RF-FAST-sekvens (TR/TE/TI/NEX, 5468 ms/80 ms/-/2 FA 90 grader, FOV 192 mm × 192 mm och 256 × 256 matriser), vilket gav tvärgående skivor med en tjocklek på 5 mm och en upplösning i planet på 0,75 × 0,75 mm. Följande fMRI förbehandlingssteg användes. För borttagning av rörelseartefakt, justerades EPI-avbildningar till den första EPI-avsökningen och registrerades tillsammans med T2 anatomiska avbildningar. Ingen rumslig utjämning tillämpades. Verktygslådan SPM2 (http://www.fil. jon.ucl.ac.uk/spm/) användes för bildbehandling. För klassificeringsanalysen bestod den ingående vektorn av tidsmedelvärdet för BOLD-svaret för varje voxel för varje stimulansblock, med användning av alla voxlar som fanns tillgängliga i nackloben. Den occipital loben (ca 1500 voxels) identifierades genom att omvandla occipital lobe av standard MNI hjärnan (Maldjian et. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. 2003 (Maldjian et. Detta beslut träder i kraft dagen efter det att det har offentliggjorts i Europeiska unionens officiella tidning. , 2004 till en individuell hjärna med hjälp av verktygslådan för deformation av SPM2. Genomsnittligt BOLD-svar för varje stimulansblock beräknades baserat på den genomsnittliga signalnivån för volymerna 2–5 efter stimulansstart (dvs. 6–15 s efter stimulus), efter korrigering vid baslinjen genom att subtrahera det genomsnittliga svaret inom varje körning. Slutligen, genomsnittliga BOLD svar av varje voxel för varje block var concatenated över alla körningar för att bilda en vektor. Vektorer från många utvalda voxlar, med etiketter som indikerar stimulanstillståndet, tjänade som ingång till klassificeringen. Vi utvärderade SSLR:s prestanda på de fyra kvadrantdata genom att använda en permission-one-run-out korsvalidering förfarande. Fem av de sex körningarna användes som träningsdata (60 prov) och den återstående körningen tjänade som testdata (12 prov). Denna process upprepades för alla körningar. Featurevektorer normaliserades så att varje voxel hade medelvärden 0 och varians 1, med linjära skalningsfaktorer beräknade från träningsdata. Samma skalningsfaktorer tillämpades för testdata. Vi gjorde samma analys med hjälp av en flerklassig version av RLR som kallas regularized multinomial logistic regression (RMLR, se bilaga A) för att jämföra klassificeringsnoggrannhet med och utan voxel val. Observera att antalet initiala parametrar är fyra gånger antalet voxlar (6000 parametrar om 1500 voxels användes), eftersom var och en av de fyra uppgiftsförhållandena har sin egen linjära diskriminant funktion med en viktparameter för varje voxel (en) (en (en), en (en LR), en (en LL), en (en) ). Orientering rivning stimuli experiment Vi använde data från Kamitani och Tong (2005), där ett försöksperson tittade på en av de åtta möjliga orientering stimuli medan hjärnaktivitet övervakades i retinotopiska visuella områden (V1-V4) med hjälp av standard fMRI procedurer. För att undersöka översessionens generalisering analyserade vi två experimentella 1419 O. Yamashita et al. / NeuroImage 42 (2008) 1414-1429 datamängder som registrerats med ungefär en månads mellanrum (dag 1 och dag 2) från samma person. Data från dag 1 och dag 2 tjänade som tränings- och testdata (24 block för varje orientering under båda sessionerna). Se Kamitani och Tong (2005) för närmare information. Vi utförde binära klassificeringar av alla par av åtta orienteringar (totalt 28 par) snarare än åtta klass klassificering. Resultaten kombinerades sedan i fyra grupper enligt orienteringsskillnaden mellan stimuli: 22,5 grader (8 par), 45 grader (8 par), 67,5 grader (8 par) och 90 grader (4 par), eftersom avkodningsnoggrannheten beror på orienteringsskillnaden. Analyser utfördes med voxels från V1-V4 (647 voxels totalt) som rangordnades efter T-värdet eller SC-värdet med hjälp av dag 1-data. T-värden beräknades för varje voxel baserat på konventionell T-statistik, som jämförde svaren på de två riktningar som ska klassificeras. SC-värden beräknades enligt det förfarande som beskrivs ovan (80 % utbildning, 20 % test). Voxlar med M högsta rang, antingen med T-värdet eller med SC-värdet, valdes som element i egenskapsvektorn för klassificering (M varierade från 5 till 40). Därefter beräknades de linjära vikterna för den logistiska regressionsmodellen (utan gles uppskattning) med hjälp av dag 1-data, och klassificeringsprestandan utvärderades med hjälp av dag 2-data. Innan logistisk regression tillämpades normalisering så att varje vald voxel har ett medelvärde 0 och varians 1. Ovanstående förfarande upprepades för alla de 28 paren. Genomsnittlig klassificeringsprestanda för T-värde rangordnade voxels och SC-värde rangordnade voxels jämfördes vid fyra nivåer av orienteringsskillnad. Därefter genomförde vi shuffleanalysen på T-värdet och SC-värdet rankade voxels för att undersöka effekten av voxelkorrelation på klassificeringsprestandan. Shufflemåttet beräknades för varje par och voxelnummer, genom att upprepa blandning av träningsdata 300 gånger. Resultat Vi testade först prestandan hos SLR med hjälp av en simulerad datauppsättning där vi fixade antalet relevanta funktioner och varierade antalet irrelevanta funktioner inom uppsättningen. Denna datauppsättning, även om den är mycket förenklad, fångar ett potentiellt problem som kan uppstå med fMRI-data: voxelmönster inne i en liten hjärnregion visar aktivitet som är relevant för den givna uppgiften, men majoriteten av voxels är irrelevanta. Vi jämförde testprestanda mellan SLR och linjär regulariserad logistisk regression (RRR), som använder samma logistiska modell som SLR men saknar ARD-förfarandet för att minska antalet dimensioner. Vi beräknade också testprestanda för stödvektormaskiner (SVM) för jämförelse. På bild. 3 a), testprestanda för SLR, RLR och SVM ritas som en funktion av antalet indatafunktioner D. prestandan för SLR var lägre och jämförbar med den för RLR respektive SVM, när det totala antalet funktioner är litet, så att de flesta funktioner är relevanta (observera att det finns 10 relevanta funktioner). SLR börjar dock överträffa RLR och SVM eftersom antalet irrelevanta funktioner ökar. Även om resultaten av SLR, RLR och SVM sjunker av när antalet irrelevanta funktioner ökar, är avlämningen mycket långsammare för SLR, vilket tyder på att SLR är mer robust mot förekomsten av irrelevanta funktioner än de andra två metoderna. På bild. 3 b, Det genomsnittliga antalet funktioner som valts av SLR ritas. Antalet utvalda egenskaper var något större än antalet för de relevanta dimensionerna för ett antal initiala indatamått (D = 100-2000). Även om flera irrelevanta inslag valdes ut i dessa fall, togs de flesta av de irrelevanta egenskaperna bort. Resultatet blev att SLR:s resultat inte föll av så mycket som det visas i Fig. 3 a.................................................................. När det gäller D = 10, där alla funktioner är relevanta, var det genomsnittliga antalet utvalda funktioner färre än 10. Detta "överbefolkande" ligger till grund för SLR:s dåliga resultat vid D = 10 bild. 3............................................................... Utvärdering av SLR med hjälp av simuleringsdata. Dataprover för binär klassificering genererades slumpmässigt från två Gaussiska distributioner. Endast de första 10 dimensionerna var inställda på att vara informativa med graderade genomsnittliga skillnader. Observera att eftersom problemet här är binärt, antalet dimensioner/funktioner är identiskt med det av viktparametrar. På bild. 3 a............................................................... Bilda. 3 c) visar hur ofta var och en av de relevanta egenskaperna valdes ut av SLR. Vi kan observera att dimensioner med högre relevans (stor genomsnittlig skillnad) tenderar att väljas oftare, medan de totala frekvenserna minskar med antalet initiala funktioner. Dessa resultat visar att även om funktionen val av SLR tenderar att överprune svagt relevanta funktioner, det automatiskt väljer mycket relevanta funktioner, tar bort de flesta av de irrelevanta funktioner, och bidrar till att förbättra klassificeringen prestanda i närvaro av många irrelevanta funktioner. Därefter applicerade vi SLR på experimentella fMRI-data som erhållits från en enkel visuell stimuleringsstudie. I varje block av detta experiment, en paj-formad fladdrande checkerboard presenterades i en av de fyra visuella fält kvadranter (se Metoder). Decoding analys utfördes för att förutsäga vilken visuell kvadrant som fick stimulering med hjälp av fMRI aktivitetsmönster från synbar cortex. Denna datauppsättning tillät oss att testa om placeringen av SLR-selected voxels överensstämmer med känd funktionell anatomi av retinotopic visuell cortex (Engel et al., 1994). Eftersom klassificeringsproblemet här omfattar fyra klasser använde vi sparse multinomial logistisk regression (SMLR), den flerklassiga versionen av SLR. Eftersom var och en av de fyra arbetsförhållandena har sin egen linjära diskriminantfunktion, definierad av en viktparameter för varje voxel (- = (-) (UR), - (LR), - (LL), - (UL) ), kan SMLR användas för att identifiera relevanta voxels för var och en av de fyra arbetsförhållandena. Vi utvärderade SMLR:s och RMLR:s prestanda med hjälp av ett korsvalideringsförfarande med en permission-one-run-out. Testprestandan och antalet parametrar som visas är medelvärden över 6 datauppsättningar för korsvalidering. Tabell 1 sammanfattar klassificeringsnoggrannheten och antalet egenskaper som används med och utan gles uppskattning för fyra försökspersoner. Antalet parametrar med gles uppskattning är det totala antalet icke-noll parametrar i  ska (UR),  och (LR),  och (LL), (UL). Observera att antalet funktioner som används för RMLR är lika med det ursprungliga antalet funktioner för SMLR. Med början från cirka 6000 parametrar valde SMLR ut mycket få parametrar (8,4 ± 2,2 mellan försökspersonerna) men uppnådde ändå hög avkodningsnoggrannhet (91,3 ± 8,7 % mellan försökspersonerna; slumpnivå 25 %). Dess prestanda var jämförbar med den för RMLR (89,9 ± 9,2 % för alla försökspersoner) med hjälp av alla occipital voxels. Detta visar att SSLR kan välja ett litet antal effektiva parametrar utan att försämra klassificeringen. Vi fann dock inte någon betydande förbättring av prestandan med en gles uppskattning av SMLR. Detta beror förmodligen på att de första voxlarna hade valts ut i förväg av bläckfiskmasken, så att många av voxlarna innehöll information som var användbar för klassificeringsuppgiften. Vi inspekterade de platser för voxels utvalda av SSLR. Bilderna i mitten av Bild. 4 visa ofta utvalda voxlar (identifieras mer än 3 gånger i 6 korsvalideringssteg) med nackloben mask överlagd på T2-anatomiska bilden för subjekt 1. Observera att var och en av de fyra linjära särskiljande funktionerna, som innebär närvaron av stimulansen i varje kvadrant, hade sin egen uppsättning utvalda voxlar. Färgen anger motsvarande kvadrant för varje vald voxel. I detta ämne, endast en voxel valdes för tre kvadranter, och tre för den återstående kvadranten. Platserna för dessa Voxels fint matchade den kända retinotopic organisationen av visuell cortex: Voxels för de fyra kvadranterna hittades i motsvarande region av den visuella cortex (t.ex., Voxel för den övre vänstra kvadranten hittades i den ventrala stranden av den högra calcarine sulcus). De utvalda voxlarna matchade också väl med voxels som visade höga F-värden från ANOVA 1-vägsanalysen (data som inte visades). Den genomsnittliga BOLD-tiden (30 s från stimulansstarten) för de valda voxels för varje stimulansplats visas också i bild. 4........................................... Varje voxel visar ett mycket selektivt svar på den stimulans som presenteras i motsvarande kvadrant. Dessa resultat visar att SSLR automatiskt kan hitta voxlar som är selektivt aktiverade av de enskilda arbetsförhållandena. Det bör noteras att vi observerade variabilitet i de utvalda voxels, även om de utbildningsdata som användes för det 6-faldiga korsvalideringsförfarandet innebar betydande överlappningar. Detta tyder på att de voxels som valts ut av SLR är något känsliga för innehållet i träningsdatauppsättningen. Men om vi fokuserar på voxels konsekvent utvalda över flera iterationer, de flesta av dessa hittades nära kalkarinsulcus i den primära visuella cortex (genom visuell inspektion av sagittal skivor), och deras relativa positioner matchade väl med den retinotopiska organisationen av V1. Dessa tendenser upptäcktes i de flesta fall, med undantag för villkor UR och UL för subjekt 3. Slutligen tillämpade vi SLR på fMRI-data som erhållits medan ett ämne tittade på galler av åtta olika inriktningar (Kamitani och Tong, 2005). Ritningar av olika inriktningar framkallar endast subtila skillnader i aktivitet i varje voxel, till skillnad från de stimuli som presenteras i de fyra olika kvadranterna. Således måste flera voxlar kombineras för att uppnå höga nivåer av orienteringsselektiv prestanda, som vi kallar "sensemble feature selection". SLR kan ge ett effektivt sätt att hitta kombinationer av voxlar för korrekt avkodning genom att ta bort irrelevanta voxlar. För denna analys introducerar vi SC-värderankningsmetoden som sorterar voxels enligt urvalsfrekvensen av SLR viktad med korsvalideringsnoggrannheten. Sedan jämför vi den med T-värdets rankningsmetod baserad på voxel-by-voxel univariat statistik som direkt jämför två villkor som ska klassificeras. Först jämförde vi skillnaden mellan de två rankningsmetoderna, genom att plotta SC-värden och T-värden för voxels sorterade tabell 1 Jämförelse av SMLR och RMLR i testprestanda och antalet parametrar för avkodning av fyra kvadranter Denna tabell sammanfattar resultaten av permission-one-run-out korsvalidering för fyra försökspersoner. Kolumnen för 'Test performance' visar de genomsnittliga korrekta procentsatserna och standardavvikelserna beräknade av SMLR och RMLR. Kolumnen "Antal parametrar" visar det genomsnittliga antalet parametrar (och standardavvikelserna) Tabell 1 Jämförelse av SMLR och RMLR i testprestanda och antalet parametrar för avkodning av fyra kvadranter Denna tabell sammanfattar resultaten av permission-one-run-out korsvalidering för fyra ämnen. Kolumnen för 'Test performance' visar de genomsnittliga korrekta procentsatserna och standardavvikelserna beräknade av SMLR och RMLR. Kolumnen "Antal parametrar" visar det genomsnittliga antalet parametrar (och standardavvikelser) som valts av SMLR och de som används av RMLR. Observera att RMLR inte utför voxel/feature val av sig själv. Antalet parametrar som används av RMLR är alltså fyra (dvs. antalet klasser) gånger antalet initiala indatavoxlar. För det andra undersökte vi om SC-rankade voxels leder till bättre prestanda än T-värde rankade voxels. Bilda. 6 visar testprestanda för SC-rankade voxlar och T-värdet rankade voxlar. Procent korrekt klassificering är plottad mot det antal voxlar som valts från toppen av leden. Resultaten av 28 binära klassificeringar grupperas enligt orienteringsskillnaderna (22,5, 45, 67,5 och 90 grader). SCrankade voxels i allmänhet överträffade T-värdet rankade voxels. Prestandaskillnaderna med hjälp av de topprankade 40 voxels är 6,5 %, 6,3 %, 10,4 % respektive 4,7 % för orienteringsskillnader på 22,5, 45, 67,5 respektive 90 grader. Signifikanta skillnader i de totala prestationsprofilerna observerades för alla fyra orienteringsjämförelser (tvåvägs ANOVA, upprepad mätning, [rankningsmetod] × [voxeltal], signifikant [rankningsmetod] effekt P b 0,05, ingen signifikant [voxeltal] effekt förutom 90 graders skillnadsgrupp och ingen signifikant interaktion). Det kan verka förbryllande att voxlar med låga T-värden, som inte ger distinkta svar på olika arbetsförhållanden, kan leda till högre klassificeringsnoggrannhet. Det är dock känt att icke särskiljande egenskaper, som i detta fall har låga T-värden, kan göra de multivariata mönstren i två (eller fler) klasser mer diskriminerande om de är korrelerade med särskiljande egenskaper (t.ex., Avervek et al., 2006). Bilda. 7(a) visar ett sådant exempel, där värdena för de två första voxels i Bild. 5 visas i en spridd komplott. Den röda diamanten och blå korset betecknar prover märkta med 0 grader respektive 135 grader. Den grå linjen är den linjära gräns som beräknas genom logistisk regression med hjälp av figuren. 4........................................... Decoding av fyra kvadrantstimuli. Platserna för voxels som valts av SLR visas på den anatomiska bilden. Fyllda rutor indikerar utvalda voxlar för var och en av de fyra kvadranterna som i legenden. Observera att i den multinomiska logistiska regressionsmodellen har varje klass (kvadrant) sina egna viktparametrar (se bild). 1 )............................................................................................................... Färgen anger den klass som den valda viktparametern tillhör. Den ljusare regionen visar nackmasken, från vilken en första uppsättning voxels identifierades. Endast ett fåtal voxlar valdes för denna uppgift (sex voxlar totalt för detta ämne), och de valda voxlar för varje kvadrant hittades på vertikalt och horisontellt vända platser, i enlighet med den visuella fältkartläggningen i den tidiga visuella cortex. Försöksgenomsnittliga BOLD-tidskurser (procentuell signalförändring i förhållande till resten) ritas för var och en av de valda voxelerna. Tid 0 motsvarar stimulansstarten. Färgen här anger stimulans villkor (en av de fyra kvadranterna) som i legenden. första fem voxlar (motsvarande den vänstra punkten av x-axeln i bild. 6(b) ) som funktionsvektorer. Gränsen är alltså en projektion från det femdimensionella funktionsutrymmet. Histogram av värdena för den första och den andra voxel visas längs de horisontella respektive vertikala axlarna. Dessa histogram visar att den första dimensionen är dåligt diskriminerande mellan de två klasserna jämfört med den andra dimensionen. Men man kan också se att närvaron av den första dimensionen gör de två dimensionella mönstren mer diskriminerande. Detta beror på att de två voxelerna är negativt korrelerade i termer av deras genomsnittliga respons på de två klasserna ("signalkorrelation") medan de är positivt korrelerade för proverna inom varje klass ("bullerkorrelation") (Avervek et al., 2006). Därför verkar SLR kunna utnyttja buller korrelation för att uppnå hög avkodning noggrannhet. (Fig. 5 ) visas i en scatter tomt och histogram. De röda diamanterna och de blå korsen representerar 0 grader respektive 135 graders prover i träningsdatamängden. Den grå linjen är den diskriminerande gräns som uppskattas av logistisk regression. Histogram visar fördelningen av proverna längs axlarna på den första och den andra voxel, och längs axeln ortogonal till den särskiljande gränsen. Den första voxelaxeln (x-axeln) är dåligt diskriminerande (vilket visas av det låga T-värdet i bild). 5 ), medan den andra voxel (y-axeln) är mer diskriminerande. När dessa voxlar kombineras (axelns ortogonala till den särskiljande gränsen) blir fördelningen av två klasser ännu mer diskriminerande. Observera att den diskriminerande gränsen ger bättre diskriminering än den andra voxel ensam. Den första voxel skulle kunna bidra till diskrimineringen genom sitt samband med den andra voxel, även om den har ett lågt T-värde och är dåligt diskriminerande i sig. b) Värdena i de ursprungliga uppgifterna a) blandades inom varje voxel och klass så att korrelationen mellan voxels togs bort från fördelningen för varje klass. histogrammen för två individuella voxlar är identiska med dem för de ursprungliga uppgifterna (a). Men den diskriminerande gränsen är annorlunda: diskrimineringen är nästan uteslutande beroende av den andra voxel. 1423 O. Yamashita m.fl. / NeuroImage 42 (2008) 1414-1429 Slutligen utvärderades effekten av voxelkorrespondenser på testklassificeringens prestanda med hjälp av ett shuffleförfarande som avlägsnar korrelationer genom att slumpmässigt permutera ordning på prover inom varje klass och varje dimension (se Metoder för detaljer). Bilda. 7 b) visar provernas fördelning efter blandning av proverna i bild. 7 a)................................................................. Man kan se att man blandar bort korrelationen mellan första och andra voxel medan de endimensionella histogrammen inte påverkas. Därefter beräknade vi skillnaden i testprestanda mellan de ursprungliga uppgifterna och de blandade uppgifterna, där avvikelser över noll indikerar förbättrad klassificering på grund av korrelationer mellan voxlar. Blandningsförfarandet tillämpades på binära klassificeringar med hjälp av alla voxelnummer i Bild. 6 av alla 28 par av åtta orienteringar, och resultaten ritas av de fyra orienteringsskillnaderna (Fig. 8)................................................................. Shuffle åtgärder för de 40 SCranked voxels, respektive nådde 4,1%, 5,3%, 5,2% och 8,5% för grupperna med 22,5, 45, 67,5 och 90 graders skillnad, medan de för T-värde rankade voxels var mycket mindre (-0,7%, 1,6%, 2,1% och 8,0%). Dessutom, om vi undersöker skillnaden i testprestanda mellan kurvorna som följer av SC-värde och T-värdesrankning i Bild. 6 och de i Bild. 8, De former ser mycket lik. Jämförelsevärdet mellan skillnadens kurvor i figurer. 6 och 8 var 0,73 i genomsnitt över de 28 paren. Detta tyder på att skillnaden i testprestanda mellan SC-värderankning och univariat T-värdesrankning delvis förklaras av nyttan med att välja Voxels med bullerkorrelation vid användning av SC-värderankningsmetoden. Det bör noteras att shuffle-måttet (eller någon åtgärd som utvärderar högre moment) kanske inte fungerar tillförlitligt i ett högdimensionellt funktionsutrymme eftersom prover endast distribueras glest (känd som "dimensionens förbannelse"). Därför bör man vara försiktig med att tolka resultaten av blandning när antalet voxlar är stort. Vi har infört en ny linjär klassificering för fMRI-avkodning, sparsam logistisk regression (SLR). SLR är en binär/ multi- classifier med möjlighet att automatiskt välja voxels som är relevant för ett givet klassificeringsproblem. Med hjälp av en uppsättning simuleringsdata och två uppsättningar verkliga experimentella data har vi visat följande: (1) SLR kan automatiskt välja relevanta funktioner, och därmed förhindra övermontering i viss utsträckning; (2) de platser för SLR-valda voxels är förenliga med känd funktionell anatomi; (3) SLR-valda voxels skilde sig från de platser som valts genom konventionell voxelmässigt univariat statistik, och den tidigare överträffade den senare i klassificering; (4) denna skillnad i klassificering prestanda kan delvis redovisas av korrelationsstrukturen bland de utvalda voxels. Simuleringsstudien visade att SLR kan överträffa andra klassificeringsmetoder för datamängder med ett stort antal irrelevanta funktioner, genom att automatiskt ta bort dem. Prestandan hos andra klassificeringsapparater, såsom regulariserad logistisk regression (RRR) och stödvektormaskin (SVM), försämrades anmärkningsvärt med ökningen av antalet irrelevanta funktioner. Som visas i det fall där alla funktioner är relevanta (D = 10) valde SLR inte alltid alla relevanta funktioner, men fångade många av de mycket relevanta funktionerna. Effekten av utelämnade relevanta voxlar på klassificeringsprestandan förväntas därför vara liten. Även mycket relevanta funktioner valdes ut mindre ofta med mer irrelevanta egenskaper. Som ett resultat av detta sjönk prestandan för SLR gradvis med antalet irrelevanta egenskaper, men lutningen var mindre brant än de andra två metoderna. Resultaten från kvadrantens visuella stimuleringsförsök tydde på möjligheten att tolka glest uppskattade parametrar ur fysiologisk synvinkel. Vid avkodningsanalys används klassificeringsprestanda ofta som ett index för funktionell selektivitet i ett område, eller en uppsättning voxlar. Här kunde vi identifiera relevanta hjärnregioner med hjälp av de icke-nollviktsparametrar som valts ut av SLR. I SSLR (sparse multinomial logistic regression, multinomial version av SLR) har varje klass sin egen uppsättning parametrar. Fördelningen av utvalda voxlar för varje klass ger således en klassspecifik kortikalkarta. Det bör dock noteras att eftersom denna kartläggning tyder på att Voxels bäst klassificerar data från olika experimentella förhållanden, är de inte Bild. 8............................................................... Effekten av blandning på prestandan hos SC-rankade voxels och T-rankade voxels. Samma analys som i bild. 6 utfördes med bluffade träningsdata. Skillnaden i testprestanda mellan den ursprungliga och den blandade träningsdatan beräknades (chuffle measure). Det genomsnittliga shufflemåttet (över 300 gånger shuffling) ritas upp som en funktion av antalet voxlar, för SC-rankade voxels (blå) och T-rankade voxels (röd) och för fyra orienteringsskillnader. O. Yamashita m.fl. / NeuroImage 42 (2008) 1414-1429 den kompletta uppsättningen voxels som kan vara involverade i ett givet experimentellt tillstånd. Denna metod kan betraktas som en tröskelversion av den SVM-baserade kartläggningsmetod som föreslås av LaConte et al. (2005), där viktparametrar beräknade med linjär SVM används för kartläggning. Vår metod kan vara mer robust, eftersom den tar hänsyn till variabiliteten i uppskattningen (se alfa-steget av SLR-algoritmen i bilaga A). För ytterligare förbättring av kartläggningen kan det vara att föredra att kartlägga voxlar som är gemensamma för flera utbildningsdatamängder med hjälp av en korsvalideringsteknik, som är grunden för den SLR-baserade voxelvalsmetoden (eller urvalstalet (SC) rankningsmetoden). Analysen av orienteringsdata visade att SC-värdet rangordnade voxels skilde sig från T-värdet rankade voxels, och att SC-rankade voxels överträffade T-värdet rangordnade voxels i klassificeringen av orientering. Dessutom fann vi att denna skillnad i prestanda delvis kan förklaras av korrelationsstrukturen mellan voxels. Även om klassificeringsprestandan visas i bild. 6 beräknades med logistisk regression, kvalitativt liknande resultat erhölls när linjär SVM, linjär RLR, eller Gaussian blandning klassificerare (MATLAB, classificate.m) användes. Det finns några kommentarer om denna analys. För det första övervägde vi endast upp till 40 voxels vid jämförelse av prestandan för SC-värde rankade voxels och den för T-värde rankade voxels. Detta beror på att SC-värden under 40 blev nästan nollor, vilket gjorde det omöjligt att på ett tillförlitligt sätt rangordna dessa voxels med SC-värden. För det andra visar shufflemåttet nyttan av voxelkorrelation under antagandet att fördelningen av utbildnings- och testdatamängder är stationär. Värden för denna shuffle åtgärd kan påverkas av icke-stationäritet mellan fördelningen av Dag 1 och Dag 2. Eftersom både SC- och T-värdesrankningen beräknas utifrån samma utbildningsdatamängd bör de dock inte ha särskilda fördomar i fråga om (icke-)stationaritet. Även i närvaro av icke-stationaritet bör skillnaden i shufflemått mellan SC- och T-värdets rankning återspegla skillnaden i fördelen med voxelkorrelation. För det tredje observerade vi signifikant icke-noll shuffle åtgärder även för T-värde rankade voxels. Även om val av voxel baserat på T-värdesrankning bortser från korrelationer mellan voxlar, kan voxels valda för deras höga T-värde ändå korreleras med varandra. För det fjärde innebär jämförelsen mellan T-värde rankad voxels och SC-värde rankad voxels i själva verket två faktorer: skillnaden i algoritmen (univariat T-värde vs. multivariat SLR) och skillnaden i dataprovtagningsmetoden. För att kontrollera den senare faktorn har vi beräknat en bootstrap-fördelning av T-värdet med hjälp av en omsamplingsprocedur som är jämförbar med den som används för SC-värdets rankning. Därefter rangordnades voxels efter det genomsnittliga eller normaliserade genomsnittet (uppdelat på standardavvikelsen) av fördelningen. I båda fallen ändrades inte testprocenten korrekt från den ursprungliga T-värdesrankningen, där varje T-värde endast beräknades en gång med hjälp av hela träningsdata, vilket tyder på att skillnaden i algoritmen var huvudfaktorn för jämförelsen. SLR är en bekväm klassificering i flera avseenden. Det kan fungera även när antalet träningsdata prover är mindre än antalet voxels (features). Det kan minimera övermontering genom att automatiskt ta bort irrelevanta voxels, och kan användas för voxel val. Det kräver inte justering parametrar manuellt. Således skulle tillämpningen av SLR kunna visa sig vara lika användbar som SVM, som har blivit allt populärare i flera nyligen genomförda fMRI-studier (Cox och Savoy, 2003; Mitchell et al., 2004; LaConte et al., 2005; Tong, 2005, 2006; Haynes et al., 2007 och så vidare). Det är intressant att jämföra egenskaperna hos SLR och SVM. Både SLR och linjär SVM definieras av en linjär diskriminant funktion, och innebär gles uppskattning av parametrar. Parametrarna i SLR är dock förknippade med funktioner, medan parametrarna i SVM är associerade med prover. Den linjära diskriminanta funktionen hos SLR är f x;  ska ð  på 1⁄4 ska t x 1⁄4 Således ligger diskriminantfunktionen för SVM i utrymmet för den ursprungliga dimensionen D. Därför är endast SLR utrustad med egenskapen funktionsval. På grund av denna funktionsvalsförmåga verkar SLR fungera bättre än SVM om en funktionsvektor består av många irrelevanta funktioner, vilket framgår av våra simuleringsresultat. För att få fram den optimala Voxel-undergruppen från en initialt stor Voxel-uppsättning krävs i allmänhet en omfattande kombinatorisk sökning. Denna sökning blir emellertid ointressant med även ett blygsamt antal voxels. En alternativ metod är att hantera varje voxel självständigt, som T-värdet rankad voxel urvalsförfarandet gör. Men denna metod försummar beroendet bland voxels. En bra kompromiss kan vara den sökljusmetod som föreslås av Kriegeskorte et al. (2006), där korrelationsstrukturen bland en lokal uppsättning voxlar (voxlar inom en sfär med 4 mm radie) i en "sökljus" används. Denna metod tar dock inte hänsyn till potentiella korrelationer mellan rumsligt avlägsna voxlar. I motsats, SLR-baserat voxel val kan utnyttja korrelationsstrukturen bland alla voxels i den ursprungliga voxel uppsättningen, utan att kräva en uttömmande kombinatorisk sökning, även om resultatet kan vara suboptimal. För regressionsproblem, Jo-Anne Ting et al. (2008 visas) jämförde matchning mellan funktioner som valts med ARD-metoden och de som valts med brute-force-metoden. De visade att de flesta funktioner (neuroner) som valts med ARD-metoderna matchade med dem som valts med brute-force-metoden (över 90%). Deras resultat kan också stödja giltigheten av funktionen val av SLR. En nackdel med SLR är beräkningskostnaden (tid och minne). Som anges i tillägg A är skattningsalgoritmen en iterativ algoritm med den hessiska matrisen inversion av storlek D × D, där D är antalet funktionsmått eller voxlar. När det gäller 10 000 dimensioner är det svårt att hålla en matris av storlek 10 000 × 10 000 i minnet. Även om en matris kan hållas i minne, en matris inversion av storlek D × D kräver också beräkningstid proportionell till D 3. I vårt exempel på det fyra kvadrantexperimentet tar det ungefär 1 timme att analysera data från ett ämne som utför hela leave-one-run-out-proceduren med en Linux-maskin med en 1425 O. Yamashita et al. / NeuroImage 42 (2008) 1414-1429 2,66 GHz-processor och ett 4 GB-minne. En metod för att övervinna detta beräkningsproblem är direkt approximation av den logistiska funktionen med hjälp av en variationsparameter (Jaakkola och Jordanien, 2000; Bishop och Tipping, 2000). Detta tillvägagångssätt kräver inte explicit beräkning av den hessiska matrisen. Nyligen har vi implementerat denna uppskattningsalgoritm. Även om denna approximation endast gäller för binär klassificering, kan vi nu genomföra en helhjärna klassificering analys. Ett annat tillvägagångssätt är det sekventiella uppdateringsförfarandet för komponentvis. Två olika algoritmer baserade på detta tillvägagångssätt har föreslagits för den logistiska regressionsmodellen med ARD-modellen (Tippning och Faul, 2003) och för multinomial logistisk regression med Laplace tidigare (Krishnapuram et al., 2005). Dessa algoritmer kräver mindre minne och mindre beräkning än vår metod. I synnerhet kräver den senare algoritmen bara minne och beräkningstid proportionell mot D, som är mycket mindre än de som krävs av vår algoritm. Jämförelse av beräkningstid, klassificeringsprestanda och överlevande voxels mellan vår algoritm och dessa sekventiella algoritmer kan vara ett intressant framtida arbete. Vår nuvarande metod är begränsad till linjär klassificering. Det är möjligt att utvidga ramen till icke-linjära diskriminanta funktioner genom att kombinera en kärnfunktion med den automatiska relevansbestämningstekniken (ARD). Men detta tillvägagångssätt skulle kunna kosta mycket mer beräkningsresurser och drabbas hårdare av problemet med lokala minima.
Yamashita m.fl. utvecklat Sparse Logistik Regression (SLR) för att förbättra prestandan hos klassificeringsmodeller REF.
Sparse estimation automatically selects voxels relevant for the decoding of fMRI activity patterns
{'venue': 'NeuroImage', 'journal': 'NeuroImage', 'mag_field_of_study': ['Computer Science', 'Medicine']}