Mål-Att halvautomatiskt framkalla semantiska kategorier av behörighetskriterier från text och att automatiskt klassificera behörighetskriterier på grundval av deras semantiska likhet. Design-The UMLS semantiska typer och en uppsättning tidigare utvecklade semantiska preferensregler användes för att skapa en entydig semantisk funktion representation för att inducera behörighetskriterier kategorier genom hierarkisk klusterbildning och att utbilda övervakade klassificeringar. Mätningar-Vi inducerade 27 kategorier och mätte prevalensen av kategorierna i 27.278 behörighetskriterier från 1 578 kliniska prövningar och jämförde klassificeringsprestanda (dvs. precision, recall, och F1-poäng) mellan UMLS-baserade funktionsrepresentation och "påse av ord" funktion representation bland fem vanliga klassiatorer i Weka, inklusive J48, Bayesian Network, Naïve Bayesian, Nearest Neighbor, och instance-baserade Learning Classifier. Resultat-UMLS semantiska funktionen representation överträffar "påse av ord" funktion representation i 89% av kriterierna kategorier. Med hjälp av de semantiskt inducerad kategorier, maskininlärning klassificerare krävde endast 2.000 fall för att stabilisera klassificeringen prestanda. J48 Classifier gav den bästa F1-poäng och Bayesian Network Classifier uppnådde den bästa inlärningseffektiviteten. UMLS är en effektiv kunskapskälla och kan möjliggöra en effektiv funktionsrepresentation för semiautomatiserad semantisk kategoriinduktion och automatisk kategorisering för kliniska forskningskriterier och eventuellt annan klinisk text. Clinical Research Acceptability Criteria; Classification; Hierarchical Clustering; Knowledge Representation; Uniified Medical Language System (UMLS); Maskininlärning; Feature Representation Accepterbarhetskriterier specificerar de egenskaper som en frivillig människa måste eller inte får ha för att delta i en klinisk studie eller för att behandlas enligt en standard klinisk vård © 2011 Elsevier Inc. Alla rättigheter förbehålls. Motsvarande författare: Chunhua Weng, PhD, MS, Institutionen för biomedicinsk informatik, Columbia University, 622 W 168 Street, VC-5, New York, NY 10032, Tel: 212-305-3317, Fax: 212-305-3302, cw2384@columbia.edu. Förlagsfriskrivning: Detta är en PDF-fil med ett oredigerat manuskript som har godkänts för publicering. Som en tjänst till våra kunder tillhandahåller vi denna tidiga version av manuskriptet. Manuskriptet kommer att kopieras, typsättning och granskning av det framtagna beviset innan det publiceras i sin slutliga namngivna form. Observera att under produktionsprocessen kan fel upptäckas som kan påverka innehållet, och alla juridiska disclaimers som gäller för tidskriften gäller.  NIH Public Access Figur 1 illustrerar vårt ramverk för maskininlärning för integrerad kategoriinduktion och kriterier klassificering, båda delar samma funktionsrepresentation genom att kommentera varje behörighetskriterium med en UMLS-baserad semantisk lexicon 18. Istället för att använda manuellt definierade kategorier, vi halvautomatiskt genererade behörighetskategorier med hjälp av en hierarkisk kluster algoritm för att öka människor för kategori induktion. Därefter uppnår en övervakad maskininlärningsklassificerare automatisk klassificering. Fler konstruktionsdetaljer ges nedan. Varje kriterium tolkades först av en tidigare publicerad och fritt tillgänglig semantisk notator 18 för att identifiera de UMLS-erkända termerna, av vilka många var förknippade med flera semantiska typer och därmed resulterade i tvetydighet. Vi tog bort sådana tvetydigheter genom att använda en uppsättning fördefinierade semantiska preferensregler 19 för att välja specifika typer över allmänna typer 18. Till exempel var UMLS-konceptet perikardiellt förknippat med två UMLS semantiska typer, Body Location eller Region och Spatial Concept. I UMLS Semantic Network, Body Location eller Region var en av undertyperna till Spatial Concept. Därför var den semantiska typen Body Location eller Region mer specifik än Spatial Concept. Därför behölls för UMLS-konceptet perikardiell typ Body Location eller Region som den semantiska typ som föredrogs. Vi skapade också tre nya typer för att märka termer som inte omfattades av UMLS men som ofta förekom i kliniska forskningskriterier. Vi definierade den numeriska typen för siffror (t.ex. 18, 60, två). Vi definierade också symboltypen för jämförelsekontakt (t.ex. +, >=, @) och enhetstypen för måttenheter (t.ex. mm3, ph, kg). Exempelkriteriet "Prior adjuvant terapi för metastaserande sjukdom tillåten" skulle annoteras som "prior/Temporal Concept" adjuvant terapi/Therapeutic eller Preventive Procedure  med avseende på/  på metastaserande sjukdom / Neoplastisk process med tillstånd/Socialt beteende, där varje UMLS- koncept (understruket) separerades från motsvarande UMLS semantisk typ (italic) med ett snedstreck. Figur 2 visar processen för att omvandla behörighetskriterier till en semantisk representationsmatris. Ett kriterium betecknades som S och kartlades in i en semantisk typ vektor T (figur 2 - A). Värdet av en semantisk funktion i vektorn T vägdes av dess frekvens av förekomst,, där i = {1,2,3 skak}, F j är frekvensen av den semantiska typen j och k är antalet av alla olika semantiska typer i mening S. Till exempel innehöll ovanstående mening 4 olika UMLS semantiska typer, var och en förekommer NIH-PA Författare Manuscript NIH-PA Författare Manuscript en gång; därför var den viktade frekvensen av varje semantisk typ 0.25. Alla kriteriumfall tolkades och omvandlades till en funktionsrepresentationsmatris för att stödja klassificeringslärande, där varje rad var ett kriterium och varje kolumn var en UMLS-semantisk typ, som visas i figur 2 -B. Efter den semantiska notatorn omvandlade kriterierna till en UMLS-baserad semantisk funktionsmatris, applicerades den hierarkiska agglomerativa klusteralgoritmen (HAC) algoritm 20 på den semantiska funktionsmatrisen för att inducera de semantiska kategorierna av kriterier. HAC använde en bottom-up metod som ursprungligen skapade en kluster för varje kriterium och sedan gradvis agglomererade kluster baserat på deras semantiska likhet, ett par varje gång, tills alla kriterier förenades i en gigantisk kluster. För att bedöma likheten mellan kriterierna för stödberättigande tillämpades Pearsons korrelationskoefficient 21 för att kvantifiera förhållandet mellan de semantiska representationerna av två kriterier och värdet mellan −1 och 1. Till exempel, om kriterium A och B innehöll helt olika uppsättningar av UMLS semantiska typfunktioner, skulle deras korrelationsvärde vara −1.0 eftersom de var helt olika. Om de två uppsättningarna inte var helt olika, men fortfarande skiljde sig, skulle korrelationen förbli negativ, men den skulle vara större än −1.0. Däremot, om kriterierna A och B konvergerade, skulle deras korrelation vara 1,0. Om det inte fanns något förhållande, skulle deras korrelation vara 0. En Pearson korrelationskoefficient beräknades inledningsvis för varje möjlig kriteriumjämförelse för att skapa en tabell över korrelationsvärden mellan varje möjligt par av de kriterier som klustrades. Därefter valdes det kriteriumpar som hade det högsta korrelationsvärdet först för att sammanfogas till ett kluster för att bilda ett nytt "pseudo-kriterium". Den nya pseudo-kriteriet skulle innehålla samma antal funktioner representation, men varje funktion skulle nu vara det aritmetiska medelvärdet av de två ursprungliga funktionen uppsättningar. De två ursprungliga kriterierna som slogs samman skulle tas bort från tabellen över korrelationsvärden, och nya korrelationer skulle hittas mellan det nya pseudokriteriet och alla övriga kriterier. Det näst högsta återstående korrelationsvärdet i tabellen skulle identifieras och detta par kriterier skulle förenas för att bilda en ny pseudo-kriterium. Denna process fortsatte tills allt som återstår var en enda pseudo-kriterium som innehåller det aritmetiska medelvärdet av alla de ursprungliga kriterierna vid varje funktion. Vid klusterering av ett originalkriterium med ett tidigare bildat pseudokriterium måste det nybildade pseudokriteriumet vara ett aritmetiskt medelvärde av alla kriteriers egenskaper som det innehåller, inte ett enkelt genomsnitt mellan pseudokriteriumets och det ursprungliga kriteriets egenskaper. Genom att återföra den ordning i vilken kriterierna gradvis förenades i kluster och genom att känna till korrelationsvärdet för varje steg, identifierade vi de kriterier som var nära relaterade till varandra och de kriterier som endast hade ett avlägset samband genom att fastställa ett tröskelvärde från [−1,1] värdeintervallet, där alla kriterier tillsammans med korrelationer som var större än detta tröskelvärde ansågs vara ett kluster, och alla kriterier eller kluster med korrelationer som var lägre än detta tröskelvärde inte ansågs. På så sätt ansågs alla kriterier ha en korrelation som var större än tröskelvärdet som ett kluster. En manuell granskning utfördes för att slå samman och märka dessa kluster för att bilda semantiska kategorier baserat på deras semantiska likhet 18. Till exempel innehöll en kluster kriteriet "SGOT > 2 gånger ULN", medan den andra klustret innehöll kriteriet "Neutrofilantal större än 1000 per mm3". Båda kriterierna hade liknande poäng av den semantiska likheten mellan fall i varje kluster, som var typiska laboratorietestresultat; därför var dessa två kluster semantiskt relaterade. Dessutom var syntaxen för fallen i de två klungorna likartad, både innefattande ett kliniskt objekt, en jämförelsesymbol, numeriska värden och mätenheter. En manuell granskning visade att de två klusteren var semantiskt likartade och kunde slås samman till en kategori: Diagnostic eller Lab Results. Betydelsefulla kategorinamn skapades manuellt och levererades till NIH-PA-författarmanuskriptet NIH-PA-författarmanuskriptets klassificeringsmodul. Vi återanvända avsiktligt etiketterna av UMLS semantiska typer för att namnge kriterier kategorier eftersom de är bekanta för många informatik forskare. Två människor klassade självständigt en uppsättning kriterier med hjälp av de utvecklade semantiska kategorierna och nådde samförstånd om kategoriseringsresultaten. Dessa fall tolkades också av den semantiska annotatorn och förvandlades till semantiska drag. Den manuella kategoriseringsresultat och deras semantiska funktioner användes för att träna fem mycket vanliga övervakade klassiatorer i öppen källkod Weka paket 12, inklusive J48 13, Bayesian Network 14, Naïve Bayesian 15, närmaste granne (NNge) 16, och instans-baserad inlärning klassifier IB1 17. Vi jämförde klassificeringsprestandan med UMLS-baserad semantisk funktionsrepresentation och den vanliga "påse of words"-representationen bland alla de fem klassificeringarna. Resultat ClinicalTrials.gov är ett offentligt register över alla kliniska prövningar och deras lämplighetskriterier 2. Från denna webbplats, vi slumpmässigt extraherade 5000 meningar. Med undantag för 179 icke-kriterium meningar och med hjälp av de återstående 4 821 kriterier meningar, rekommenderade den hierarkiska klustermodulen ursprungligen 41 kluster vars parvis likhet var över tröskeln 0,75. Vi framkallade manuellt 27 behörighetskriterier kategorier, vars organisatoriska hierarki omfattar 6 ämnesgrupper: Demografi (t.ex. ålder eller kön), Hälsostatus (t.ex. sjukdom eller organstatus), Behandling eller hälso- och sjukvård (t.ex. terapi eller medicinering), Diagnostic or Lab Tests, Etikprövning (t.ex., villig att godkänna) och Livsstil Val (t.ex. diet eller motion). Mer kategoriinformation finns i vår tidigare publikation 11. Två oberoende människor klassare manuellt märkt 2.718 kriterier meningar. Cohens Kappa 22 var 0,82, vilket indikerade ett utmärkt inter-rater avtal.  För att bedöma omfattningen av de semiautomatiskt inducerade behörighetskriterierna, valde vi slumpmässigt ut 1 578 kliniska prövningar och extraherade 27 278 behörighetskriterier för att undersöka prevalensen och frekvensen av varje kategori i dessa kriterier, vilket visas i Totalt 3.403 slumpmässigt utvalda behörighetskriterier användes för att utbilda klassificeringarna. Vi genomförde en 10-faldig korsvalidering för att jämföra klassificeringen prestanda bland 5 NIH-PA Författare Manuscript NIH-PA Författare Manuscript vanliga maskininlärning klassifiers, som var J48, Bayesian Network, Naïve Bayesian, närmaste granne (NNge), och instans-baserade lärande klassifier IB1, var och en med "bag of words" representation (baseline) och UMLS semantic typ representation. Vår jämförelse var från följande perspektiv: (1) klassificering noggrannhet mätt med precision, recall, och F1-poäng (tabell 3) ; (2) (4) klassifiator lärande effektivitet ( Figur 5). Återkallelse, precision och F1-poäng definieras enligt följande: (1) (2) Som visas i tabell 3, UMLS semantiska funktion representation konsekvent överträffade "påse av ord" funktion representation genom att uppnå högre precision, återkalla och F1-poäng, med prestandaförbättringar från 13,3% till 10.02. i alla de 5 klassificeringar. Naïve Bayes klassificerare ökade F1-poäng med 19% genom att byta från "påse med ord" representation till UMLS semantisk typ representation. Sammantaget gjorde J48 classifier bäst bland de 5 classifiers, med en precision på 87,0%, återkalla vid 87,2% och F1-score av 86,9% när du använder UMLS semantic typ representation. Figur 3 kontrasterar de genomsnittliga F1-poängen för de 27 semantiska kategorierna med hjälp av UMLS semantiska typrepresentation respektive "påse med ord" representation. I 24 av de 27 semantiska kategorierna (89%) överträffade UMLS semantiska typrepresentationen "påsen med ord" genom att använda semantisk kunskap som inte fanns tillgänglig i "påsen med ord" funktionsrepresentation för att identifiera den semantiska likheten mellan till synes olika termer. Till exempel, kriterierna "Sex: Man" och "Inclusion: Kvinna" inte dela någon lärande funktion i "påse av ord" representation på grund av termen variationer. UMLS semantiska representationer för båda kriterierna delade dock samma UMLS semantiska typ Organism Attribut. Därför kunde UMLS semantisk typ representation upptäcka semantisk likhet som inte fångades i "påse av ord" representation. P-värdet för skillnaden mellan de två kännetecknen för alla 27 kategorier mätt med t-test 23 var 0,00334 (P <0,05), vilket indikerar skillnadernas statistiska signifikans. Därför var UMLS semantiska representation betydligt bättre än "påsen med ord" representation. Tre sällsynta kategorier, förväntad livslängd, samtycke och särskilda patientegenskaper, visade inte fördelarna med UMLS semantiska typ representation eftersom kriterierna som hör till dessa klasser ofta innehöll framträdande nyckelord som var mer effektiva än deras semantiska typer för klassificering. Till exempel innehöll 75,53 % av kriterierna i kategorin samtycke frasen "informerat samtycke". Vid användning av "påse med ord" representation, kan klassificeringen enkelt avgöra om ett kriterium tillhörde kategorin Samtycke bara genom att slå upp nyckelorden "informerad" och "samtycke" i funktionen uppsättning. När man däremot använde den semantiska typrepresentationen var termen "informerat samtycke" NIH-PA Författare Manuskript NIH-PA Författare Manuskript kartlagt till UMLS semantic type Regulation eller Lag som också innehöll termer i kriterier som inte var relaterade till samtycke, såsom "narkotikaregler" eller "hälsopolitik". Att enbart använda denna semantiska egenskap var inte tillräckligt för att avgöra om ett kriterium tillhörde kategorin Samtycke. I detta fall var användningen av "påse av ord" mer korrekt än att använda semantisk typ representation. Figur 4 visar att UMLS semantiska typ representation konsekvent krävde betydligt mindre tid än "påse av ord" representation över de 5 klassificeringarna. Lärande dimension av "påse av ord" representation var mycket större än den semantiska typ representation. Detta kan förklaras av det faktum att vi fick 4,413 distinkta "påse med ord" funktioner men bara 135 semantiska-typ funktioner för de 3.403 utbildningskriterier. Vi fann också att BayesNet klassificerare och NaïveBayes klassificerare var robusta för att motstå den snabba tillväxten i inlärningsdimensionen och behöll hög effektivitet, medan effektiviteten var avsevärt försämrad i IB1, J48 och NNge som inlärningsdimensionen expanderade, som visas i figur 4. Vi utförde också ett experiment för att mäta inlärningseffektiviteten hos den bäst presterande klassificeraren av de fem, J48, genom att dela upp de 3.403 utbildningskriterierna i grupper, var och en innehållande endast 3 kriterier. Utbildningsprocessen var uppdelad i 1.134 steg, varje steg stegvis öka storleken på de träningsdata som anges med 3. Därför är stegvisa träningsstorlekar 3, 6, 9,...3*K fall, där K är det sekventiella antalet steg. Klassificeringsnoggrannheten för varje steg dokumenterades och ritades som en inlärningskurva som växer med storleken på träningsdatamängden, som visas i figur 5. Lärhastigheten ökade snabbast för de första 500 träningarna. Efter detta steg inlärningsresultatet relativt långsamt. Slutligen stabiliserades inlärningskurvan efter omkring 2 000 utbildningstillfällen, vilket tyder på att en utbildning med 3 403 deltagare var tillräcklig för att utveckla en stabil modell för klassificering av behörighetskriterier. Vid tidpunkten för denna studie, det fanns inget standard och automatiskt sätt att kategorisera och organisera kliniska forskning behörighetskriterier. Vi tillämpade den inlärda klassificeraren (J48) för att organisera behörighetskriterierna på Clinicaltrials.gov. Figur 6 visar lämplighetskriterier avsnittet i en klinisk prövning studie på Clinicaltrials.gov, som är en punktlista. Figur 7 visar resultaten av dynamiska behörighetskriterier kategorisering 24. Med hjälp av vår J48 beslut träd klassificering, kan vi tilldela varje kriterium till dess motsvarande semantiska kategori och organisera kriterierna avsnittet i en hierarkisk träd, som kan underlätta snabbt innehåll bläddra 25 och fasetterad sökning 26. Klustering är en oövervakad inlärningsteknik som inte behöver en människomärkt utbildning, utan snarare identifierar likheterna mellan instanser, medan klassificering är en övervakad maskininlärningsmetod som behöver tränas med hjälp av manuellt märkta exempel 27. I detta dokument presenterar vi en effektiv strategi för dynamisk kategorisering av kliniska forskningskriterier genom att integrera hierarkisk klusterbildning och klassificeringsalgoritmer genom att använda en delad semantisk funktionsrepresentation baserad på UMLS semantiska typer. Vår metod visar värdet av att använda UMLS semantiska typer för funktionsrepresentation. För att förbättra maskininlärningens effektivitet har olika metoder utvecklats för att automatisera datagenereringen av utbildningsdata [28] [29] [30]. Vår semantiska notator genererar automatiskt funktioner baserade på UMLS semantiska typer och minskar avsevärt inlärningsdimensionen jämfört med den traditionella "påse av ord"-metoden. Tidigare studier manuellt definierade kategorier för kliniska lämplighetskriterier 4-5. Vår metod minskar den mänskliga ansträngning som krävs för kategoriutveckling och bidrar med en uppsättning finkorniga Vår metod för dynamisk kategorisering av kriterier meningar är inspirerad av och utökar ett anmärkningsvärt relaterat arbete för dynamisk kategorisering av dokument, som är DynaCat systemet utvecklat av Pratt 25. DynaCat använde UMLS för kunskapsbaserade frågetermer märkning och PubMed dokumentklassificering. Alla frågetermer kodades automatiskt med MeSH-termer, men dokumentkategorier och klassificeringsregler specificerades manuellt för dokumentkategorisering. Vi utökade DynaCat genom att använda de hierarkiska klusterverktygen för att automatiskt inducera semantiska kategorier för de objekt som ska kategoriseras och genom att använda en maskininlärningsmetod för att träna klassifieraren, vilket var en förbättring jämfört med manuellt definierade regelbaserade klassificerare. Genom att använda MeSH-termer uppnådde DynaCat standardbaserad frågeterm men minskade inte funktionsutrymmet. Som en förlängning använde vi UMLS semantiska typer för att kommentera behörighetskriterier begrepp och avsevärt minskat funktionsdimensionen för maskininlärning-baserad klassificering. Dessutom har DynaCat gjort kategorisering på dokumentnivå. Däremot tillåter vår metod kategorisering på meningsnivå. Vi jämförde också vår Vi kan förbättra vår nuvarande metodik på flera sätt i framtiden. Vi identifierade två öppna forskningsfrågor för klassificering av kliniska meningar. Ett är att utveckla bättre maskininlärningsalgoritmer för obalanserade träningsdata. Som vi visade i avsnitt 3.2 uppnådde olika kategorier olika grad av noggrannhet, vilket delvis berodde på olika prevalens och incidens av dessa kategorier, som anges i tabell 2. Lära sig av obalanserade datauppsättningar där antalet exempel på en (majoritet) klass är mycket högre än andra, maskininlärning algoritmer tenderar att producera bättre prediktiv noggrannhet över majoritetsklasserna men sämre prediktiv noggrannhet över minoritetsklasserna. Detta är en öppen forskningsutmaning för maskininlärningssamhället. Översamplingsalgoritmer 36 kan användas för att förbättra prestandan för minoritetsklasser. En annan nödvändig förbättring är att utveckla flermärkt klassificering för behörighetskriterier. Även om majoriteten av behörighetskriterierna endast innehåller ett ämne, finns det fortfarande omkring 8 % av behörighetsfrågorna som innehåller flera ämnen. Kriteriet "gravida kvinnor" innehåller till exempel två ämnen graviditet och kön. Ett annat exempel är "man och kvinna mellan 18 och 65 år". Flera ämnen kan också vara närvarande mindre explicit i vissa exempel; till exempel, "positiva graviditet labb tester" kan kategoriseras som både Lab Test Resultat och Graviditet. Vår klassificerare tilldelar dock endast en kategori dessa behörighetskriterier. De kategorier som härrör från hierarkisk klusterbildning är inte helt ömsesidigt uteslutande och kan innehålla vissa dolda relationer (t.ex. en uppsättning labbtester för att mäta graviditet), vilket också kan ha påverkat klassificeringsnoggrannheten. Dessa forskningsfrågor är värda fler studier i framtiden. I den här artikeln presenterar vi en ny metod som kombinerar en oövervakad klusteralgoritm med en övervakad klassificeringsalgoritm för att utveckla en semantisk klassificering, som kan användas för att kategorisera kliniska forskningskriterier automatiskt. Vi demonstrerar också värdet av semantisk kunskap såsom UMLS för att förbättra inlärningseffektiviteten hos semantiska klassificeringar för kliniska meningar såsom kliniska kriterier för berättigande till forskning. Att använda UMLS semantiska typer är mycket effektivare och effektivare än att använda ord för funktionsrepresentation vid klassificering av kliniska meningar, främst eftersom UMLS semantiska kunskaper matchar semantiken i klinisk text väl.
Tidigare studier undersökte lämplighetskriterierna i klinisk prövning protokoll och utvecklade metoder för behörighetskriterier extraktion och semantisk representation, och använt hierarkisk klusterering för dynamisk kategorisering av sådana kriterier REF.
Dynamic categorization of clinical research eligibility criteria by hierarchical clustering
{'venue': 'Journal of biomedical informatics', 'journal': 'Journal of biomedical informatics', 'mag_field_of_study': ['Computer Science', 'Medicine']}