Genuttrycksdata från mikroarrayer tillämpas för att förutsäga prekliniska och kliniska endpoints, men tillförlitligheten av dessa förutsägelser har inte fastställts. I MAQC-II-projektet analyserade 36 oberoende grupper sex uppsättningar mikroarraydata för att generera prediktiva modeller för klassificering av ett prov med avseende på en av 13 endpoints som tyder på lung- eller levertoxicitet hos gnagare, eller bröstcancer, multipelt myelom eller neuroblastom hos människor. Totalt har >30 000 modeller byggts med hjälp av många kombinationer av analysmetoder. Lagen genererade prediktiva modeller utan att veta den biologiska betydelsen av några av de endpoints och, för att efterlikna den kliniska verkligheten, testade modellerna på data som inte hade använts för utbildning. Vi fann att modellens prestanda till stor del berodde på mål- och teamkompetensen och att olika tillvägagångssätt genererade modeller av liknande prestanda. Slutsatserna och rekommendationerna från MAQC-II bör vara användbara för tillsynsmyndigheter, studiekommittéer och oberoende utredare som utvärderar metoder för global genuttrycksanalys. © 2010 Nature America, Inc. Alla rättigheter förbehållna. Volume 28 ANTAL 8 AUGUST 2010 naturbioteknik A r t i c l es är också exempel i litteraturen av klassiatorer vars prestanda inte kan reproduceras på oberoende datamängder på grund av dålig studiedesign 27, dålig datakvalitet och / eller otillräcklig korsvalidering av alla modellutveckling steg 28, 29. Var och en av dessa faktorer kan bidra till en viss grad av skepsis mot påståenden om prestandanivåer som uppnås av mikroarray-baserade klassificeringar. Tidigare utvärderingar av reproducerbarheten hos mikroarraybaserade klassiatorer, med endast mycket få undantag 30, 31, har begränsats till simuleringsstudier eller omanalys av tidigare publicerade resultat. Ofta har publicerade benchmarkingstudier delat upp datamängder slumpmässigt och använt den ena delen för utbildning och den andra för validering. Denna konstruktion förutsätter att utbildnings- och valideringsseten tillverkas genom opartisk provtagning av en stor, homogen population av prover. Prover i kliniska studier intjänas dock vanligtvis under flera år och det kan förekomma en förskjutning i den deltagande patientpopulationen och även i de metoder som används för att tilldela sjukdomsstatus på grund av ändrade praxisnormer. Det kan också finnas satseffekter på grund av tidsvariationer i vävnadsanalys eller på grund av distinkta metoder för provtagning och hantering på olika medicinska centra. Som ett resultat av detta kan prover som härrör från successivt upplupna patientpopulationer, såsom gjordes i MAQC-II för att härma den kliniska verkligheten, där den första kohorten används för att utveckla prediktiva modeller och efterföljande patienter ingår i valideringen, skilja sig från varandra på många sätt som kan påverka förutsägelsens prestanda. MAQC-II-projektet utformades för att utvärdera dessa biaskällor i studiedesignen genom att konstruera utbildnings- och valideringsset vid olika tidpunkter, byta test- och utbildningsset och även använda data från olika prekliniska och kliniska scenarier. Målen för MAQC-II var att kartlägga metoder i genomisk modellutveckling i ett försök att förstå källor till variabilitet i förutsägelseprestanda och att bedöma påverkan av endpoint signalstyrka i data. Genom att tillhandahålla samma dataset till många organisationer för analys, men inte begränsa deras dataanalysprotokoll, har projektet gjort det möjligt att utvärdera i vilken utsträckning, om några, resultaten beror på det team som utför analysen. Detta står i kontrast till tidigare benchmarkingstudier som vanligtvis har genomförts av enskilda laboratorier. Att registrera ett stort antal organisationer har också gjort det möjligt att testa många fler metoder än vad som skulle vara praktiskt för ett enda team. MAQC-II strävar också efter att utveckla riktlinjer för god modelleringspraxis, med utgångspunkt i ett stort internationellt samarbete mellan experter och de lärdomar som dragits i den kanske aldrig tidigare skådade satsningen på att utveckla och utvärdera >30.000 genomiska klassificeringar för att förutsäga en mängd olika endpoints från olika datauppsättningar. MAQC-II är ett samarbetsprojekt som inkluderar deltagare från FDA, andra myndigheter, industri och akademi. Detta dokument beskriver MAQC-II-strukturen och den experimentella designen och sammanfattar konsortiets viktigaste resultat och resultat, vars medlemmar har lärt sig en hel del under processen. De resulterande riktlinjerna är allmänna och bör inte tolkas som specifika rekommendationer av FDA för regulatoriska inlagor. Skapar en unik kompendium av >30 000 prediktions modeller MAQC-II konsortium utformades med det primära målet att undersöka modellutveckling praxis för att generera binära klassificerare i två typer av datamängder, prekliniska och kliniska ( Kompletterande tabell 1 och 2 ). För att uppnå detta distribuerade projektledaren sex datamängder som innehöll 13 prekliniska och kliniska endpoints kodade A till M (tabell 3). Endpoints kodades för att dölja identiteterna hos två negativa kontrollslutpunkter (endpoints I och M, för vilka klassetiketter slumpvis tilldelades och inte är förutsägbara av mikroarraydata) och två positiva kontrollslutpunkter (endpoints H och L, som representerar patienternas kön, vilket är mycket förutsägbart med mikroarraydata). Endpoints A, B och C testade teamens förmåga att förutsäga toxiciteten hos kemiska agenser i gnagares lung- och levermodeller. De återstående effektmåtten förutsågs från mikroarraydata från humana patienter som diagnostiserats med bröstcancer (D och E), multipelt myelom (F och G) eller neuroblastom (J och K). Datauppsättningarna för multipelt myelom och neuroblastom representerade händelsefri överlevnad (förkortat EFS), vilket innebär brist på malignitet eller återfall i sjukdom, och total överlevnad (förkortat OS) efter 730 dagar (för multipelt myelom) eller 900 dagar (för neuroblastom) efter behandling eller diagnos. För bröstcancer representerade effektmåtten östrogenreceptorstatus, en vanlig diagnostisk markör av denna cancertyp (förkortad "erpos") och framgångsrik behandling med kemoterapi följt av kirurgisk resektion av en tumör (förkortad "pCR"). Den biologiska betydelsen av kontrollslutpunkterna var känd endast för projektledaren och avslöjades inte för projektdeltagarna förrän alla modellutvecklings- och externa valideringsprocesser hade slutförts. För att utvärdera reproducerbarheten hos de modeller som utvecklats av ett dataanalysteam för en given datauppsättning, bad vi team att lämna in modeller från två steg av analyser. I det första steget (nedan kallat det ursprungliga experimentet) byggde varje grupp förutsägelsemodeller för upp till 13 olika kodade endpoints med hjälp av sex utbildningsdatauppsättningar. Modeller "frystes" mot ytterligare modifieringar, lämnades in till konsortiet och testades sedan på en blindad valideringsdatauppsättning som inte var tillgänglig för analysgrupperna under utbildningen. I det andra steget (swap-experimentet) upprepade teamen modelluppbyggnads- och valideringsprocessen genom utbildningsmodeller på den ursprungliga valideringsuppsättningen och validering av dem med hjälp av den ursprungliga utbildningsuppsättningen. För att simulera den potentiella beslutsprocessen för att utvärdera en microarray-baserad klassificering etablerade vi en process för varje grupp att ta emot träningsdata med kodade endpoints, föreslå ett dataanalysprotokoll (DAP) baserat på undersökande analys, få feedback på protokollet och sedan utföra analys och validering (Fig. 1).................................................................. Analysprotokollen granskades internt av andra MAQC-II-deltagare (minst två granskare per protokoll) och av medlemmar i MAQC-II Regulatory Biostatistics Working Group (RBWG), ett team från FDA och industrin som bestod av biostatistiker och andra med omfattande erfarenhet av modellbyggande. Grupper uppmuntrades att revidera sina protokoll för att införliva feedback från granskare, men varje grupp ansågs så småningom vara ansvarig för sitt eget analysprotokoll och att införliva granskares feedback var inte obligatoriskt (se Online Methods för mer information). Vi satte ihop två stora tabeller från original- och swapexperiment (kompletterande tabeller 1 och 2, respektive) med sammanfattande information om algoritmer och analytiska steg, eller "modelleringsfaktorer", som används för att konstruera varje modell och "interna" och "externa" prestanda för varje modell. Intern prestanda mäter modellens förmåga att klassificera träningsproven, baserat på korsvalideringsövningar. Extern prestanda mäter modellens förmåga att klassificera blindade oberoende valideringsdata. Vi övervägde flera prestandamått, inklusive Matthews Correlation Coefficient (MCC), noggrannhet, känslighet, specificitet, area under mottagarens karakteristiska kurva (AUC) och rotmedel kvadratfel (r.m.s.e.). Dessa två tabeller innehåller uppgifter om >30 000 modeller. Här rapporterar vi performance baserat på MCC eftersom © 2010 Nature America, Inc. Alla rättigheter reserverade. nature biotechnology VOLUME 28 ANTAL 8 AUGUST 2010 A r t i c l es det är informativt när fördelningen av de två klasserna i en datauppsättning är mycket skev och eftersom det är enkelt att beräkna och var tillgänglig för alla modeller. MCC-värden varierar från +1 till −1, med +1 som anger perfekt förutsägelse (dvs. alla prover som klassificeras korrekt och inga felaktigt), 0 indikerar slumpmässig förutsägelse och +1 anger perfekt invers förutsägelse. De 36 analysteamen tillämpade många olika alternativ under varje modelleringsfaktor för att utveckla modeller (kompletterande tabell 4) inklusive 17 sammanfattande och normaliseringsmetoder, nio metoder för att avlägsna batch-effekt, 33 urvalsmetoder (mellan 1 och > 1000 funktioner), 24 klassificeringsalgoritmer och sex interna valideringsmetoder. Sådan mångfald tyder på att gemenskapens gemensamma praxis är De tre första datamängderna (Hamner, Iconix och NIEHS) kommer från prekliniska toxikologiska studier, medan de övriga tre datamängderna är från kliniska studier. Endpoints H och L är positiva kontroller (patientens kön) och endpoints I och M är negativa kontroller (slumpmässigt tilldelade klassetiketter). Prestanda beror på endpoint och kan uppskattas under träning Till skillnad från många tidigare insatser gav studien design av MAQC-II möjlighet att bedöma prestandan hos många olika modelleringsmetoder på en kliniskt realistisk blindad extern valideringsdata uppsättning. Detta är särskilt viktigt mot bakgrund av den avsedda kliniska eller prekliniska användningen av klassificeringsapparater som konstrueras med hjälp av initiala datamängder och valideras för godkännande och sedan förväntas exakt förutsäga prover som samlats in under olika förhållanden, kanske månader eller år senare. För att bedöma tillförlitligheten hos prestandauppskattningar som erhållits under modellträningen jämförde vi prestandan på den interna träningsdatauppsättningen med prestandan på den externa valideringsdatauppsättningen för var och en av de 18 060 modellerna i det ursprungliga experimentet (Fig. 2a)................................................................................................ Modeller utan komplett metadata ingick inte i analysen. Vi valde 13 "candidate modeller", som representerar den bästa modellen för varje endpoint, innan extern validering utfördes. Vi krävde att varje analysteam nominerade en modell för varje endpoint de analyserade och vi valde sedan en kandidat från dessa nomineringar för varje endpoint. Vi observerade en högre korrelation mellan interna och externa resultatuppskattningar i termer av A r t i c l es av MCC för de utvalda kandidatmodellerna (r = 0,951, n = 13, bild. 2b ) än för den totala uppsättningen modeller (r = 0,840, n = 18,060, bild. 2a), tyder på att omfattande peer review av analysprotokoll kunde undvika att välja modeller som kunde resultera i mindre tillförlitliga förutsägelser i extern validering. Men även för de handvalda kandidatmodellerna finns det märkbara förutfattade meningar i det resultat som beräknats genom intern validering. Det vill säga, den interna valideringsprestandan är högre än den externa valideringsprestandan för de flesta endpoints (Fig. 2b)........................................................................................................... För vissa endpoints och för vissa modellbyggmetoder eller grupper var dock interna och externa korrelationer mer blygsamma som beskrivs i följande avsnitt. För att utvärdera om vissa endpoints kan vara mer förutsägbara än andra och för att kalibrera prestanda mot de positiva och negativa kontroll endpoints, bedömde vi alla modeller som genererats för varje endpoint (Fig. 2c)........................................................................................................... Vi observerade ett tydligt beroende av förutsägelseresultat på endpoint. Till exempel var endpoints C (levernekrospoäng hos råttor som behandlades med hepatotoxiska medel), E (östrogenreceptorstatus hos bröstcancerpatienter) och H och L (kön hos patienter med multipelt myelom respektive neuroblastom) lättast att förutsäga (genomsnittlig MCC > 0,7). Toxikologiska endpoints A och B samt endpoints för sjukdomsprogression D, F, G, J och K var svårare att förutsäga (genomsnittlig MCC ~0,1-0,4). Negativ kontroll endpoints I och M var helt oförutsägbara (genomsnittlig MCC ~0), som förväntat. För 11 endpoints (exklusive de negativa kontrollerna), förutspådde en stor del av de inlämnade modellerna att endpointen var signifikant bättre än slumpen (MCC > 0) och för en given endpoint många modeller presterade lika bra på både intern och extern validering (se fördelningen av MCC i bild. Detta anslag är avsett att täcka utgifter för tjänstemän och tillfälligt anställda som arbetar inom politikområdet rättsliga frågor och inrikes frågor. Å andra sidan fungerade inte alla inlämnade modeller lika bra för någon given endpoint. Vissa modeller presterade inte bättre än slumpen, även för vissa av de lättförutsedda effektmåtten, vilket tyder på att ytterligare faktorer var ansvariga för skillnader i modellprestanda. Dataanalysteam visar olika kunskaper Nästa, vi sammanfattade den externa valideringen prestanda av de modeller som nominerats av de 17 team som analyserade alla 13 endpoints (Fig. 3)............................................................... Nominerade modeller representerar ett teams bästa bedömning av modellbyggandet. Den genomsnittliga externa valideringen MCC per grupp över 11 endpoints, exklusive negativa kontroller I och M, varierade från 0,532 för dataanalysgruppen (DAT)24 till 0,263 för DAT3, vilket tyder på märkbara skillnader i prestanda hos de modeller som utvecklats av olika team för samma data. Liknande trender observerades när AUC användes som prestandamått (kompletterande tabell 5) eller när de ursprungliga utbildnings- och valideringsseten byttes (kompletterande tabell 6 och 7). I tabell 2 sammanfattas de modelleringsmetoder som användes av två eller flera MAQC-II-dataanalysgrupper. Många faktorer kan ha spelat en roll i skillnaden mellan externa valideringsprestanda mellan team. Till exempel använde team olika modelleringsfaktorer, kriterier för att välja ut de nominerade modellerna och programvarupaket och kod. Dessutom, vissa team kan ha varit mer skicklig på microarray data modellering och bättre på att skydda mot skrivfel. Vi noterade betydande variationer i prestanda bland de många K-nearest grannalgoritm (KNN)-baserade modeller som utvecklats av fyra analysteam (kompletterande bild. 1 )............................................................................................................... Uppföljningsundersökningar identifierade några möjliga orsaker som ledde till avvikelser i prestanda 32. Till exempel fastställde DAT20 parametern "antal grannar" K = 3 i sitt dataanalysprotokoll för alla endpoints, medan DAT18 varierade K från 3 till 15 med en stegstorlek på 2. Denna undersökning visade också att även en detaljerad men standardiserad beskrivning av modellbyggnad begärdes från alla grupper misslyckades med att fånga många viktiga inställningsvariabler i processen. De subtila modellering skillnader som inte fångas kan ha bidragit till de olika prestandanivåer som uppnås av dataanalysgrupperna. Skillnaderna i prestanda för de modeller som utvecklats av olika dataanalysgrupper kan också observeras från förändrade mönster för intern och extern valideringsprestanda över de 13 endpoints (Fig. 3, Kompletterande tabell 5-7 och kompletterande figurer. 2-4)................................................................. Våra observationer belyser vikten av bra modelleringspraxis för att utveckla och validera mikroarraybaserade prediktiva modeller inklusive rapportering av beräkningsdetaljer för resultat som ska replikeras 26. Mot bakgrund av MAQC-II-erfarenheten verkar det mycket önskvärt att registrera strukturerad information om steg och parametrar i en analysprocess för att underlätta peer review och omanalys av resultaten. För att utvärdera reproducerbarheten hos de modeller som genererats av varje team korrelerade vi prestandan för varje lags modeller på de ursprungliga träningsdata som inställts för att utföra valideringsdata och upprepade denna beräkning för swapexperimentet (Fig. 4)................................................................. Korrelationen varierade från 0,698-0,966 på det ursprungliga experimentet och från tidigare, omanalys av en allmänt citerad singelstudie 34 fann att resultaten i den ursprungliga publikationen var mycket bräcklig-det vill säga, inte reproducerbart om utbildnings- och valideringsset byts 35. Våra observationer, med undantag för DAT3, DAT11 och DAT36 med korrelation <0.6, främst till följd av misslyckande med att exakt förutsäga den positiva kontrollen endpoint H i swapanalysen (sannolikt på grund av operatörens fel), inte styrka sådan sårbarhet i de nu undersökta datamängderna. Det är viktigt att betona att vi upprepade hela modellbygg- och utvärderingsprocesserna under swapanalysen och därför gäller stabilitet för modellbyggprocessen för varje dataanalysgrupp och inte för en viss modell eller metod. Kompletterande figur 5 ger en mer detaljerad titt på korrelationen mellan intern och extern validering för varje dataanalysgrupp och varje endpoint för både den ursprungliga (kompletterande bild. 5a) och swap ( Kompletterande bild 5d) Analyser. Som förväntat skilde sig individuella funktionslistor från analysgrupp till analysgrupp och mellan modeller som utvecklats från originaldata och swappade data. När listor över särdrag kartlades för biologiska processer, observerades emellertid en större grad av konvergens och samstämmighet. Detta har föreslagits tidigare men har aldrig visats på ett heltäckande sätt över många datamängder och tusentals modeller som gjordes i MAQC-II 36. Att noggrant identifiera potentiella varianskällor som förklarar variabiliteten i prestanda för extern validering (Fig. 2c), Vi tillämpade slumpmässig effekt modellering (Fig. 5a).............................................................................................. Vi noterade att själva effektmåttet i särklass är den dominerande källan till variabilitet, vilket förklarar >65 % av variabiliteten i den externa valideringsprestandan. Alla andra faktorer förklarar <8% av den totala variansen, och den återstående variansen är ~6%. Bland de faktorer som testats har de som involverar interaktioner med endpoint en relativt stor effekt, särskilt interaktionen mellan endpoint med organisation och klassificeringsalgoritm, som belyser variationer i kompetens mellan analysteam. För att ytterligare undersöka effekten av enskilda nivåer inom varje modelleringsfaktor, uppskattade vi de empiriska bästa linjära objektiv prediktorer (BLUP) 37. I figur 5b visas BLUP-ytorna för motsvarande faktorer i figur 5a med en variation på mer än 1 %. BLUP-värdena visar effekten av varje nivå av faktorn till motsvarande MCC-värde. BLUP av den huvudsakliga endpoint effekten visar att råtta levernekros, bröstcancer östrogenreceptorstatus och kön hos patienten (endpoints C, E, H och L) är relativt lättare att förutsäga med ~0,2-0,4 fördel bidrog till motsvarande MCC värden. Resten av effektmåtten är relativt svårare att förutsäga med cirka −0,1 till −0,2 nackdelar bidrog till motsvarande MCC-värden. De viktigaste faktorerna för normalisering, klassificeringsalgoritm, antalet utvalda funktioner och funktionsvalsmetoden har en inverkan på motsvarande MCC-värden på −0,1 till 0,1. Loess normalisering tillämpades på endpoints (J, K och L) för neuroblastoma data som med tvåfärg Agilent plattform och har 0,1 fördel till MCC värden. Bland Microarray Analysis Suite version 5 (MAS5), Robust Multichip Analysis (RMA) och dChip normaliseringsmetoder som tillämpades på alla endpoints (A, C, D, E, F, G och H) för Affymetrix data, har dChip metoden en lägre BLUP än de andra. Eftersom normaliseringsmetoder delvis är sammansvetsade med endpoints, kan det vara olämpligt att jämföra metoder mellan olika sammansvetsade grupper. Bland klassificeringsmetoderna har diskriminantanalys den största positiva effekten av 0,056 på MCC-värdena. När det gäller antalet utvalda funktioner, större bin antal har bättre inverkan på genomsnittet för alla endpoints. Bin-numret tilldelas genom att använda takfunktionen på loggbasen 10 av antalet valda funktioner. Alla funktionsvalsmetoder har en liten inverkan på −0,025 till 0,025 Figur 4 Korrelationen mellan intern och extern validering är beroende av dataanalysgruppen. Pearson korrelationskoefficienter mellan intern och extern valideringsprestanda när det gäller MCC visas för de 14 grupper som lämnade in modeller för alla 13 endpoints i både den ursprungliga (x-axeln) och swap (y-axeln) analyser. Den ovanligt låga korrelationen i swapanalysen för DAT3, DAT11 och DAT36 är ett resultat av deras underlåtenhet att exakt förutsäga det positiva effektmåttet H, sannolikt på grund av operatörens fel (kompletterande tabell 6 ). © 2010 Nature America, Inc. Alla rättigheter förbehållna. nature biotechnology Volume 28 ANTAL 8 AUGUST 2010 A r t i c l es på MCC värden med undantag för rekursiv funktion eliminering (RFE) som har en inverkan på −0.006. I diagrammen för de fyra utvalda interaktionerna varierar de uppskattade BLUP-värdena mellan olika endpoints. Den stora variationen mellan endpoints innebär påverkan av motsvarande modelleringsfaktor på olika endpoints kan vara mycket olika. Bland de fyra interaktionsytorna (se Kompletterande bild). 6 för en tydlig märkning av varje interaktionsterm), motsvarande BLUPs av trevägs interaktion av organisation, klassificeringsalgoritm och endpoint visar den högsta variationen. Detta kan bero på olika inställningsparametrar tillämpas på enskilda algoritmer för olika organisationer, som var fallet för KNN 32. Vi analyserade också den relativa betydelsen av modelleringsfaktorer på extern validering förutsägelse prestanda med hjälp av ett beslut träd modell 38. Analysresultaten visade observationer (Supplementary Fig. 7 ) i stort sett överensstämmer med ovanstående. För det första var endpointkoden den mest inflytelserika modellfaktorn. För det andra, funktionsval metod, normalisering och summering metod, klassificering metod och organisation kod bidrog också till förutsägelse prestanda, men deras bidrag var relativt liten. Prediktionsprestanda är det viktigaste kriteriet för att utvärdera prestandan hos en prediktiv modell och dess modelleringsprocess. Modellens robusthet och mekanistiska relevans och motsvarande gensignatur är dock också viktig (Supplementary Fig. 8 ) och 8.............................................................................................................. Det är, med tanke på jämförbara förutsägelser prestanda mellan två modelleringsprocesser, den som ger en mer robust och reproducerbar gensignatur över liknande datamängder (t.ex. genom att byta utbildning och valideringsset), som därför är mindre mottaglig för sporadiska fluktuationer i data, eller den som ger nya insikter till den underliggande biologin är att föredra. Reproducerbarhet eller stabilitet hos funktionsuppsättningar studeras bäst genom att köra samma modell urval protokoll på två skilda samlingar av prover, ett scenario endast möjligt, i detta fall, efter att de blinda valideringsdata distribuerades till dataanalysgrupper som ombads att utföra sin analys efter byte av deras ursprungliga utbildning och testuppsättningar. Kompletterande figurer 9 och 10 visar att även om funktionen utrymme är extremt stor för microarray data, olika team och protokoll kunde konsekvent välja de bäst presterande funktioner. Analys av listorna över funktioner indikerade att för endpoints relativt lätt att förutsäga, olika dataanalysgrupper kom fram till modeller som använde mer vanliga funktioner och överlappningen av listorna från de ursprungliga och swap analyser är större än de för svårare endpoints (kompletterande figurer. 9-11)................................................................ Graden av stabilitet i funktionslistorna kan därför kopplas till svårigheten att förutsäga problemet (Supplementary Fig. 11 ), även om flera modeller med olika funktionslistor och jämförbar prestanda kan hittas från samma datauppsättning 39. Funktionell analys av de oftast utvalda generna genom alla dataanalysprotokoll visar BLUP diagram av motsvarande faktorer som har andel variation större än 1% i a. Endpoint förkortningar (Tox., preklinisk toxicitet; BR, bröstcancer; MM, multipelt myelom; NB, neuroblastom). Endpoints H och L är patientens kön. Sammanfattande förkortningar för normalisering (GA, genetisk algoritm; RMA, robust multichipanalys). Klassificering algoritmförkortningar (ANN, artificiella neurala nätverk; DA, diskriminerande analys; Skog, slumpmässig skog; GLM, generaliserad linjär modell; KNN, K-nearest grannar; Logistik, logistisk regression; ML, maximal sannolikhet; NB, Naïve Bayes; NC, närmaste centroid; PLS, partiell minst kvadrater; RFE, rekursiv funktionseliminering; SMO, sekventiell minimal optimering; SVM, stöd vektor maskin; Tree, beslut träd). Förkortningar för val av funktionsmetod (Bscatter, mellanklass scatter; FC, veckförändring; KS, Kolmogorov-Smirnov-algoritm; SAM, signifikansanalys av mikroarrayer). © 2010 Nature America, Inc. Alla rättigheter förbehållna. VOLYM 28 NUMMER 8 AUGUST 2010 naturbioteknik A r t i c l es att många av dessa gener representerar biologiska processer som är mycket relevanta för det kliniska resultatet som förutspås 36. De könsbaserade endpointsen har den bästa överlappningen, medan svårare överlevnadsslutpunkter (i vilka sjukdomsprocesser förbryllas av många andra faktorer) endast marginellt bättre överlappar med biologiska processer som är relevanta för sjukdomen än vad som kan förväntas av slumpen. MAQC-II-dataanalysgrupperna bestod av en mångfaldig grupp, av vilka några var erfarna mikroarrayanalytiker medan andra var doktorander med liten erfarenhet. Sammantaget har gruppens sammansättning troligen imiterat det breda forskarsamhället som arbetar med att bygga och publicera modeller som härrör från mikroarraydata. De mer än 30 000 modeller som utvecklats av 36 dataanalysteam för 13 endpoints från sex olika kliniska och prekliniska datamängder är en rik källa för att belysa flera viktiga observationer. För det första var prestanda för modellprognoser i stor utsträckning beroende av endpoint (biologi) (Fig. 2c och 3). Införlivandet av flera datamängder och endpoints (inklusive positiva och negativa kontroller) i MAQC-II-studien möjliggjorde denna observation. Vissa endpoints är mycket prediktiva baserat på arten av data, vilket gör det möjligt att bygga bra modeller, förutsatt att sunda modelleringsförfaranden används. Andra endpoints är i sig svåra att förutsäga oavsett modellutvecklingsprotokollet. För det andra finns det tydliga skillnader i kompetens mellan dataanalysteam (organiseringar) och sådana skillnader är korrelerade med teamets erfarenhetsnivå. Till exempel var de högpresterande teamen som visas i figur 3 främst industriella deltagare med många års erfarenhet av analys av mikroarraydata, medan de mest mindre erfarna forskarstuderandena eller forskarna var undermåliga. Baserat på resultat från positiva och negativa endpoints, Vi märkte att enkla fel ibland gjordes, tyder på snabba insatser på grund av brist på tid eller obemärkt genomförande brister. Denna iakttagelse tyder starkt på att det behövs mekanismer för att säkerställa tillförlitligheten hos de resultat som läggs fram för tillsynsmyndigheterna, tidskriftsredaktörerna och forskarsamhället. Genom att undersöka praxis hos team vars modeller inte presterade bra, kan framtida studier kunna identifiera fallgropar som ska undvikas. På samma sätt kan metoder som antagits av högpresterande team ligga till grund för utvecklingen av goda modelleringsmetoder. För det tredje visar den interna valideringsprestandan från väl genomförd, objektiv korsvalidering en hög grad av överensstämmelse med den externa valideringsprestandan i en strikt bländningsprocess (Fig. 2).................................................................. Denna observation var inte möjlig från tidigare publicerade studier på grund av det lilla antal tillgängliga endpoints som testades i dem. För det fjärde kan många modeller med liknande prestanda utvecklas från en given datauppsättning (Fig. 2).................................................................. Liknande förutsägelse prestanda är uppnåelig när man använder olika modellering algoritmer och parametrar, och enkla dataanalysmetoder utför ofta såväl som mer komplicerade metoder 32, 40. Även om det inte är nödvändigt att inkludera samma egenskaper i dessa modeller för att uppnå jämförbar förutsägelse prestanda, endpoints som var lättare att förutsäga allmänt gav modeller med vanligare funktioner, när de analyserades av olika team (kompletterande bild. 11).................................................................. Slutligen verkade det vara viktigare att tillämpa bra modelleringsmetoder än att faktiskt välja en viss algoritm över de andra inom samma steg i modelleringsprocessen. Detta kan ses i de olika val av modelleringsfaktorer som används av team som producerade modeller som presterade bra i den blindade valideringen (tabell 2) där modelleringsfaktorer inte generellt bidrog till variationer i modellens prestanda bland väl presterande team (Fig. 5).................................................................. Sammanfattat nedan är de modellbyggsteg som rekommenderas till MAQC-II-dataanalysgrupperna. Dessa kan vara tillämpliga på mönsterbyggare i det allmänna forskarsamhället. Steg ett (design). Det finns ingen exklusiv uppsättning av steg och förfaranden, i form av en checklista, som ska följas av någon utövare för alla problem. Man bör dock följa normal god praxis när det gäller studiens utformning och förhållandet mellan provstorlek och klassificeringskomplexitet. De ofta använda alternativen för normalisering, funktionsval och klassificering är bra utgångspunkter (tabell 2). Steg två (pilotstudie eller intern validering). Detta kan åstadkommas genom bootstrap eller korsvalidering såsom de tio upprepningarna av ett femfaldigt korsvalideringsförfarande som antagits av de flesta MAQC-II-team. Proverna från pilotstudien ersätts inte för den pivotala studien, utan förstärks för att uppnå "lämplig" målstorlek. Steg 3 (Pivotal studie eller extern validering). Många utredare antar att det mest konservativa synsättet på en pivotal studie är att helt enkelt få ett test som är helt oberoende av utbildningset(n). Det är dock bra att komma ihåg utbytet 34,35 om hur bräckliga resultaten är när utbildnings- och valideringsset byts ut. Resultat från ytterligare omsampling (inklusive enkla byten som i MAQC-II) i utbildnings- och valideringsseten kan ge viktig information om modellernas tillförlitlighet och modelleringsförfarandena, men den fullständiga separationen av utbildnings- och valideringsseten bör upprätthållas 41. Slutligen gäller en flerårig fråga återanvändning av den oberoende valideringen efter ändringar av en ursprungligen utformad och validerad algoritm eller protokoll för dataanalys. En sådan process förvandlar valideringen set till en del av konstruktionen eller utbildning set 42. Markregler måste utarbetas för att undvika detta tillvägagångssätt och bestraffa det när det inträffar; och utövare bör vara på sin vakt mot att använda det innan sådana grundregler är väl etablerade. DISCUSSION MAQC-II genomförde en bred observationsstudie av det nuvarande samhällslandskapet för genuttrycksprofilbaserad prediktiv modellutveckling. Mikroarray genuttryck profilering är bland de vanligaste analytiska verktygen inom biomedicinsk forskning. Analys av de högdimensionella data som genereras av dessa experiment innebär flera steg och flera kritiska beslut punkter som kan djupt påverka sundheten i resultaten 43. Ett viktigt krav för en sund intern validering är att den måste innehålla funktionsval och parameteroptimering inom varje iteration för att undvika alltför optimistiska uppskattningar av förutsägelseprestanda 28, 29, 44. I vilken utsträckning denna information har spridits och följts av det vetenskapliga samfundet i nuvarande mikroarray analys förblir okänd 33. Det har framförts farhågor om att resultat som publicerats av en grupp av utredare ofta inte kan bekräftas av andra även om samma datamängd används 26. En oförmåga att bekräfta resultaten kan bero på flera orsaker: i) otillräcklig information ges om den metod som beskriver vilken analys som faktiskt har gjorts; ii) dataförbehandling (normalisering, genfiltrering och urval av funktioner) är för komplicerad och otillräckligt dokumenterad för att reproduceras; eller iii) felaktiga eller partiska komplexa analysmetoder 26 utförs. En tydlig men relaterad oro är att genomiska data kan ge förutsägelse modeller som, även om reproducerbar på upptäcktsdatamängden, inte kan extrapoleras väl i oberoende validering. MAQC-II-projektet gav en unik möjlighet att ta itu med några av dessa problem. Framför allt har vi inte infört några restriktioner för de modellbyggmetoder som används av dataanalysgrupperna. De har därför antagit många olika modelleringsmetoder (A r t i c l es Till exempel varierade urvalsmetoderna mycket, från statistiska signifikanstester, till algoritmer för maskininlärning, till dem som är mer beroende av skillnader i uttrycksförmåga, till dem som använder kunskap om putativa biologiska mekanismer som är förknippade med endpointen. Förutsägelsealgoritmer varierade också kraftigt. För att göra interna valideringsresultat jämförbara mellan team för olika modeller rekommenderade vi att en modells interna prestanda uppskattades med hjälp av en tio gånger upprepad femfaldig korsvalidering, men denna rekommendation följdes inte strikt av alla team, vilket också gör det möjligt för oss att undersöka interna valideringsmetoder. Mångfalden av analysprotokoll som används av teamen kommer sannolikt att nära likna den nuvarande forskningen framåt, och i detta sammanhang efterliknar verkligheten. När det gäller utrymmet för modelleringsfaktorer som undersökts, MAQC-II är en undersökning av nuvarande praxis snarare än ett slumpmässigt, kontrollerat experiment; därför bör försiktighet iakttas vid tolkningen av resultaten. Till exempel, vissa team inte analysera alla endpoints, orsakar saknade data (modeller) som kan förväxlas med andra modelleringsfaktorer. Totalt sett var det förfarande som tillämpades för att nominera MAQC-II-kandidatmodeller ganska effektivt när det gällde att välja ut modeller som utfördes någorlunda väl under valideringen med hjälp av oberoende datamängder, även om de valda modellerna i allmänhet inte gjorde lika bra ifrån sig i valideringen som i utbildningen. Den minskade prestanda som är förknippad med valideringen belyser vikten av att inte enbart förlita sig på interna valideringsprestanda, och pekar på behovet av att låta varje klassificeringskategori omfattas av minst en extern validering. Urvalet av de 13 kandidatmodellerna från många nominerade modeller uppnåddes genom en peer-review-samverkan av många experter och kunde beskrivas som långsam, tråkig och ibland subjektiv (t.ex. kunde ett dataanalysteam endast bidra med en av de 13 kandidatmodellerna). Även om de fortfarande var föremål för överoptimism var de interna och externa resultatuppskattningarna för kandidatmodellerna mer samstämmiga än de för den totala uppsättningen modeller. Översynen var således produktiv när det gällde att identifiera egenskaper hos tillförlitliga modeller. En viktig lärdom från MAQC-II är att det är nästan omöjligt att retroaktivt hämta och dokumentera beslut som togs vid varje steg under funktionsvalet och modellutvecklingsstadiet. Denna brist på fullständig beskrivning av modellen byggnadsprocessen kommer sannolikt att vara en vanlig orsak till oförmågan hos olika data analysteam att fullt ut reproducera varandras resultat 32. Därför rekommenderar vi, även om det kan vara besvärligt att noggrant dokumentera klassificeringsförfarandet, att alla genomiska publikationer innehåller kompletterande material som beskriver modellbyggandet och utvärderingsprocessen i ett elektroniskt format. MAQC-II gör sex datauppsättningar tillgängliga med 13 endpoints som kan användas i framtiden som riktmärke för att verifiera att programvara som används för att implementera nya metoder fungerar som förväntat. Genom att utsätta ny programvara för riktmärken mot dessa datamängder kan potentiella användare försäkras om att programvaran är tillräckligt mogen för att användas för utveckling av prediktiva modeller i nya datamängder. Det skulle vara fördelaktigt att ta fram alternativa sätt att avgöra om specifika genomföranden av modelleringsmetoder och förfaranden för utvärdering av prestanda är sunda och att fastställa förfaranden för att samla in denna information i offentliga databaser. Resultaten från MAQC-II-projektet tyder på att när samma datamängder tillhandahålls till ett stort antal dataanalysgrupper kan många grupper generera liknande resultat även när olika modellbyggmetoder följs. Detta är överensstämmande med studier 29,33 som fann att med tanke på god kvalitet data och ett tillräckligt antal informativa funktioner, de flesta klassificeringsmetoder, om korrekt används, kommer att ge liknande prediktiva prestanda. Detta bekräftar också rapporter 6,7,39 om små datamängder av enskilda grupper som har föreslagit att flera olika funktionsvalsmetoder och förutsägelsealgoritmer kan ge många modeller som är distinkta, men har statistiskt likartade prestanda. Sammantaget ger dessa resultat perspektiv på det stora antalet publikationer i bioinformatiklitteraturen som har undersökt de olika stegen i den multivariata prediktionsmodellens byggprocess och identifierade element som är avgörande för att uppnå tillförlitliga resultat. En viktig och tidigare underskattad observation från MAQC-II är att olika kliniska endpoints representerar mycket olika nivåer av klassificeringssvårigheter. För vissa endpoints är de data som för närvarande finns tillgängliga tillräckliga för att generera robusta modeller, medan tillgängliga data för andra endpoints för närvarande inte verkar vara tillräckliga för att ge mycket prediktiva modeller. En analys som gjorts som en del av MAQC-II-projektet och som fokuserade på bröstcancerdata visar dessa punkter mer i detalj 40. Det är också viktigt att påpeka att för vissa kliniskt betydelsefulla endpoints som studerats i MAQC-II-projektet, verkade genuttrycksdata inte vara signifikant bättre än modeller baserade på enbart kliniska kovariater, vilket belyser utmaningarna i att förutsäga utfallet för patienter i en heterogen population och det potentiella behovet av att kombinera genuttrycksdata med kliniska kovariater (opublicerade data). Noggrannheten hos information om kliniska provanmärkningar kan också spela en roll i svårigheten att få korrekta förutsägelser om valideringsprover. Till exempel var en del prover felklassificerade av nästan alla modeller (kompletterande bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Det är sant även för vissa prover inom de positiva kontroll endpoints H och L, som visas i kompletterande tabell 8. Klinisk information om neuroblastompatienter för vilka det positiva kontrollmåttet L var enhetligt felaktigt klassificerat kontrollerades på nytt och könet i tre av åtta fall (NB412, NB504 och NB522) konstaterades vara felaktigt kommenterat. Den följeslagare MAQC-II papper publiceras på annat håll ger mer djupgående analyser av specifika frågor såsom de kliniska fördelarna med genomic classifiers (opublicerade data), inverkan av olika modelleringsfaktorer på förutsägelse prestanda 45, den objektiva bedömningen av microarray cross-platform förutsägelse 46, kors-vävnad förutsägelse 47, en-färg kontra två-färg förutsägelse jämförelse 48, funktionell analys av gensignaturer 36 och rekommendation av en enkel men robust dataanalys protokoll baserat på KN 32. Till exempel jämförde vi systematiskt klassificeringsprestandan från en- och tvåfärgade genuttrycksprofiler på 478 neuroblastomprover och fann att analyser baserade på endera plattformen gav liknande klassificeringsprestanda 48. Denna nygenererade enfärgsdatauppsättning har använts för att utvärdera tillämpligheten av KNN-baserade enkla dataanalysprotokoll till framtida datamängder 32. Dessutom, MAQC-II Genome-Wide Association Working Group utvärderade variabiliteten i genotyp anrop på grund av experimentella eller algoritmiska faktorer 49. Sammanfattningsvis har MAQC-II visat att nuvarande metoder som vanligen används för att utveckla och bedöma multivariata genuttrycksbaserade prediktorer av kliniskt utfall användes på lämpligt sätt av de flesta analysgrupperna i detta konsortium. Det uppstod dock skillnader i kompetens och detta understryker vikten av ett korrekt genomförande av annars stabila analysmetoder. Observationer baserade på analys av MAQC-II-datamängderna kan vara tillämpliga på andra sjukdomar. MAQC-II-datamängderna är allmänt tillgängliga och förväntas användas av forskarsamhället som riktmärken för att säkerställa korrekt modelleringspraxis. Erfarenheten med MAQC-II kliniska datauppsättningar förstärker också föreställningen att kliniska klassificeringsproblem representerar flera olika grader av prediktionssvårigheter som sannolikt kommer att vara förknippade med huruvida mRNA överflöd mätt i en specifik datauppsättning är informativa för den specifika prediktionsproblemet. Vi förväntar oss att inklusive andra © 2010 Nature America, Inc. Alla rättigheter reserverade. VOLYM 28 ANTAL 8 AUGUST 2010 naturbioteknik A r t i c l es typer av biologiska data vid DNA-, mikroRNA-, protein- eller metabolitnivåerna kommer att öka vår förmåga att mer exakt förutsäga de kliniskt relevanta effektmåtten. De riktlinjer för god modellering som fastställts av MAQC-II och de lärdomar som dragits av detta aldrig tidigare skådade samarbete utgör en solid grund från vilken andra högdimensionella biologiska data kan användas på ett mer tillförlitligt sätt för att förutsäga och anpassa medicinen. Metoder och eventuella tillhörande referenser finns i pappersversionen på http://www.nature.com/naturebiotechnology/. Anslutningskoder. Alla MAQC-II-datamängder finns tillgängliga via GEO (seriens anslutningsnummer: GSE16716), MAQC:s webbplats
Shi och Al. REF utvärderar ett stort antal olika modeller för att förutsäga kliniska endpoints hos människa och endpoints för toxicitet hos gnagare.
The MicroArray Quality Control (MAQC)-II study of common practices for the development and validation of microarray-based predictive models
{'venue': 'Nature Biotechnology', 'journal': 'Nature Biotechnology', 'mag_field_of_study': ['Medicine', 'Biology']}