A b s t r a c t Mål: Att avgöra om automatisk klassificering av dokumentciteringar kan vara till nytta för att minska den tid som experter som granskar tidskriftsartiklar använder för att uppdatera systematiska utvärderingar av läkemedelsklassens effektivitet för behandling av sjukdomar. Design: En testsamling byggdes med hjälp av de kommenterade referensfilerna från 15 systematiska utvärderingar av läkemedelsklass. Ett röstningsperceptronbaserat automatiserat citeringssystem konstruerades för att klassificera varje artikel som innehållande högkvalitativa, läkemedelsklassspecifika bevis eller inte. Korsvalideringsförsök utfördes för att utvärdera prestanda. Mätningar: Precision, återkallande och F-mätning utvärderades vid en rad urvalsviktningar. Arbete som sparats över provtagning vid 95 % återkallande användes som värdemått för granskningsprocessen. Resultat: En minskning av antalet artiklar som kräver manuell granskning hittades för 11 av de 15 ämnen som undersökts. För tre av ämnena var minskningen 50 % eller mer. Slutsats: Automatisk klassificering av dokumentcitat kan vara ett användbart verktyg för att upprätthålla systematiska utvärderingar av läkemedelsbehandlingens effektivitet. Det krävs ytterligare arbete för att förfina klassificeringssystemet och fastställa det bästa sättet att integrera systemet i produktionen av systematiska utvärderingar. Bruket av evidensbaserad medicin (EBM) innebär att tillämpa de bästa och mest aktuella bevisen, i form av publicerad litteratur, på beslutsfattandet inom patientvården. Medan den ursprungliga visionen av EBM verkade kräva läkare direkt söker primärlitteratur för bevis som är tillämpliga på deras patienter, den moderna uppfattningen av EBM är starkt beroende av destillationer av främst litteratur i form av systematiska utvärderingar (även kallade evidensrapporter), 3,4 såsom de som produceras av Cochrane Collaboration och evidensbaserade Practice Centers (EPCs) av Byrån för hälso- och sjukvård forskning och kvalitet (AHRQ). 5 AHRQ-rapporter är tillgängliga för allmänheten (http://www.ahrq.gov/clinic/ epcindex.htm/) och sammanfattningar av Cochrane-granskningarna finns också tillgängliga (http://www.cochrane.org/reviews/). Epidemiologi vid Oregon Health and Science University är hem för en av AHRQ EPC (http://www.ohsu.edu/epc/). EPC har fokuserat på att tillhandahålla omfattande litteraturöversikter som jämför klasser av läkemedel som används för att behandla särskilda tillstånd. Hittills har Oregon EPC, Southern California EPC, och Research Triangle Institute/University of North Carolina (RTI/UNC) EPC slutfört och publicerat 15 evidensrapporter, utvärdera effekten av läkemedel i läkemedelsklasser såsom orala opioider, skelettmuskelrelaxantia, och östrogenersättning. [6] [7] [8] Att göra dessa bevisrapporter heltäckande och hålla dem uppdaterade är en arbetsintensiv process. 9,10 Liksom alla systematiska utvärderingar, de av drogklasser identifiera tusentals artiklar som måste lokaliseras, triageras, ses över och sammanfattas. Potentiellt relevanta artiklar finns med hjälp av en iterativt förfinad frågebaserad sökning av biomedicinska elektroniska databaser, såsom MEDLINE och Embase. Dessa frågor utvecklas genom att börja med de optimerade kliniska frågor som föreslås och studeras av Haynes et al. [11] [12] [13] och förfinad på grundval av erfarenheterna och kunskaperna från EPC:s personal. För de 15 systematiska läkemedelsrecensioner som nämns ovan skapade personalen frågor om randomiserade kontrollerade prövningar genom att kombinera villkoren för hälsotillstånd och interventioner med Haynes et al. Forskningsmetodikfilter för terapi. Artiklarna tredubblas sedan i en process i två steg. Först granskas det abstrakta, och om det abstrakta uppfyller integrationskriterierna läses hela artikeln. Om den fullständiga textartikeln visar sig uppfylla kriterierna för införande sammanfattas och inkluderas de bevis som presenteras i artikeln i EPC-rapporten. Framsteg i klinisk utvärdering och farmakologi kräver att utvärderingarna av EPC-läkemedel uppdateras regelbundet. Detta leder oundvikligen till arbetsbelastningen i centrum ökar över tid som granskare måste både producera nya recensioner samt övervaka och uppdatera de gamla.  Processen för att skapa dessa drogrecensioner är mycket metodisk. Granskarna för detaljerade register över sina sökmetoder, de artiklar för vilka de har granskat abstracts och läst fulltext, och slutligen, vilka artiklar innehåller tillräckligt hög kvalitet bevis för att motivera införande i den systematiska granskningen. Denna process motiverade vårt intresse av att använda dessa data för att utbilda ett automatiserat klassificeringssystem som skulle ha möjlighet att förutsäga vilka nya artiklar som mest sannolikt skulle inkludera bevis som motiverar införande i en översyn uppdatering. Ett automatiserat klassificeringssystem skulle fungera för att triage (eller filtrera) nya artiklar som matchar sökkriterierna i den ursprungliga studien. Detta skulle vara till nytta för granskarna på flera sätt. För det första, genom att övervaka antalet nya artiklar om ett visst ämne som innehåller bevis av hög kvalitet (enligt klassificeringssystemet), skulle granskarna få en enkel och tydlig indikation när det finns väsentlig ny information om ett ämne och rapporten behöver revideras. För det andra skulle klassificeringssystemet kunna minska antalet artiklar som kräver manuell granskning och därmed minska ett av de mest tidskrävande stegen i utarbetandet eller uppdateringen av en systematisk översyn. För det tredje kan klassificering av de mest sannolika dokumenten som innehåller bevis av hög kvalitet hjälpa granskare att prioritera vilka artiklar som läses först och som läses endast om det finns tillräckligt med tid. Detta dokument presenterar utredarnas tillämpning av ett maskininlärningsbaserat klassificeringssystem för att minska det arbete som krävs och förbättra effektiviteten i att hålla läkemedelsrecensioner uppdaterade. Vi är inte medvetna om något tidigare arbete som tillämpar automatiserad klassificering av litteratur för ämnesspecifika evidensbaserade läkemedels- eller terapirecensioner liknande det arbete vi presenterar här. Den närmaste forskningen är arbetet av Aphinyanaphongs et al., 14 som har publicerat arbete undersöka användningen av maskininlärning algoritmer för att förbättra informationshämtning av högkvalitativa artiklar användbara för evidensbaserad medicin i icke-topic-specifika hög nivå kategorier av etiologi, prognos, diagnos, och behandling. Deras forskning fokuserar på att förbättra prestandan över de kliniska frågefilter som först föreslogs av Haynes et al., [11] [12] [13] med hjälp av alla artiklar som publicerades i tio tidskrifter från 1986 till 1991, och om dessa artiklar ingick i AVS Journal Club som en guldstandard. Det har varit mycket mer arbete inom området automatiserad dokumentklassificering för att hjälpa curator annotering av biomedicinska databaser. Liksom arbetet av Aphinyanaphongs et al., 14 målen för dessa uppgifter är att placera artiklar i en av några hög nivå, nontopic-specifika kategorier. Resultaten av dessa automatiserade uppgifter på hög nivå varierar eftersom kraven på återkallande är olika och svåra att jämföra med den ämnesspecifika klassificering som presenteras här. Dobrokhotov m.fl. 15 använde en kombination av NLP och statistiska klassificeringsmetoder för att uppnå ett återkallande av 0,4477 med en precision på 0,6716 för att identifiera artiklar som innehåller information om mänskliga genetiska sjukdomar och polymorfismer, med hjälp av en testuppsättning där 15 % av de ursprungliga artiklarna var relevanta. TREC 2004 Genomics spår inkluderade en uppgift att identifiera artiklar som innehåller information om musgen funktion för Gene Ontology (GO) notation. Med en nyttofunktion som gav 20 gånger vikten av precision, de bästa uppnådda resultaten var en normaliserad nytta på 0,6512, och precision på 0,1579 vid ett återkallande av 0,8881, vilket resulterade i en F-mått på 0,2681. 16 För att bygga och testa ett automatiserat klassificeringssystem för dessa bevisrapporter, fortsatte vi i tre faser. I den första fasen byggde vi testsamlingar för var och en av 15 beredningsämnen. I den andra fasen tränade vi en maskininlärningsbaserad klassificering på testsamlingarna. I slutfasen utvärderade vi strategin för vart och ett av granskningsfrågorna. Figur 1 visar ett diagram över den övergripande processen. Den ursprungliga datamängden bestod av 15 EndNote (http://www. endnote.com/) referensfiler med kommentarer (i de användardefinierade fälten) som gjorts tillgängliga för utredarna av EPC. Varje fält i referensfilen innehöll information om artikelns titel, författare, tidskrift och publiceringsår samt flera användardefinierade fält. De användardefinierade fälten innehöll information som lämnats av EPC-granskarna om huruvida varje artikel klarade den triageutvärdering som gjorts av en expertgranskare på abstract- och artikelnivå. Dessutom kodades ibland en fritextskäl till varför ett papper uteslöts. Därför var dessa fält "semicoded" i att EPC använde en konsekvent uppsättning strängar för att koda triage beslut och kan också ha bifogat ytterligare fri text som beskriver en anledning för tilldelning av en specifik kod. Tillfälliga datainmatningsfel förekom också. För att omvandla dessa data till en enhetlig uppsättning information som skulle kunna användas av ett klassificeringssystem behandlade vi uppgifterna i flera steg. I det första steget exporterade vi data från EndNote med hjälp av en tab-definierad, en post per rad textformat. I det andra steget tog vi fram författare, tidskrift, titel, år och användardefinierad information och använde NCBI Batch Citation Matcher (http://www.ncbi.nlm.nih. gov/entrez/citmatch.cgi) för att slå upp motsvarande PubMed-identifierare (PMID). Sedan producerade vi en ihopfogad fil som inkluderade författaren, tidskrift, titel, år, användardefinierad information, och PMID för varje artikel. För att göra vårt arbete reproducerbart och jämförbart med arbete av andra som tillämpar olika metoder för denna uppgift, behövde vi ha en fast, statisk samling av MEDLINE-skivor. Vi bestämde oss för att använda TREC 2004 Genomics Track dokument corpus, en allmän MEDLINE delmängd som har använts i stor utsträckning i andra experimentella system. Corpus består av alla MEDLINE register (inte bara genomics register, som kan härledas från namnet) för åren 1994 till slutet av 2003. Med hjälp av detta dokument tillåter corpus enkel replikerbarhet av våra resultat och gör det möjligt för andra forskargrupper att direkt jämföra sina resultat med våra egna. 16 Vi behövde begränsa testsamlingen till artiklar för vilka TREC 2004 Genomics Track dokument corpus hade tillgängliga MEDLINE poster. Inte alla artiklar som ingår i referensfilerna indexerades i MEDLINE. Några fanns till exempel i icke-engelska tidskrifter som inte indexerats i MEDLINE. Vi filtrerade testsamlingen av de PMID som fanns i TREC corpus för att säkerställa att vi hade ett MEDLINE-rekord för varje artikel i testsamlingen. I nästa steg normaliserade vi användardefinierade fälten EndNote som innehöll EPC-kodad information för abstract- och artikeltriagebesluten för varje artikel. Vi använde en uppsättning enkla reguljära uttryck, anpassade för varje drog översyn och bestäms genom inspektion av data, för att normalisera resonera fält till en uppsättning av tio konsekvent kodade värden. Koderna och betydelserna visas i tabell 1. Utredarna hade utökat diskussionerna med EPC-granskarna för att fastställa de korrekta reguljära uttrycken för att kartlägga de användardefinierade fälten i de kodade värden som visas i tabell 1 och för att upptäcka och lösa eventuella typografiska fel. Inga artiklar uteslöts från testsamlingen på grund av oförmåga att bearbeta de användarkodade fälten. I denna studie försökte vi särskilja de artiklar som ingick på den abstrakta och fullständiga textnivån från alla de som uteslutits; men vi valde att bevara den information som tillhandahölls i undantagsskälskoderna för användning i framtida arbete. Som ett sista steg kombinerade vi informationen från alla studier till en enda textfil. Varje rad motsvarar en enskild artikel som tredubblats av EPC:s personal för en specifik läkemedelsgranskning, och varje fält motsvarar läkemedelsgranskningens namn, en referensfilsidentifierare, PMID:et och de abstrakta och fullständiga artiklarnas triagefält kodade enligt tabell 1. Exempel på dataposter visas i tabell 2. Observera att även om datamängden endast kommer att innehålla citeringar och inte fulltext artiklar, expert EPC granskare hade tillgång till fulltext artiklar och gjorde sina triage beslut i två steg, den första baserad på abstrakt och den andra baserad på fulltext artikeln. Det är detta slutliga triagebeslut som vi skulle vilja förutsäga med hjälp av en maskininlärningsalgoritm med endast den information som finns i artikelns citering. Observera att i den process som just beskrivs finns det två steg där vi utesluter artiklar som ursprungligen ingick i EndNote-filerna. Vi förlorar artiklar när Batch Citation Matcher inte kan hitta en matchande artikel (dvs. referensen är inte indexerad i MEDLINE) och när artikeln inte finns i den tioåriga MEDLINE-undergruppen. Efter bearbetningen kunde vi konvertera mellan 30% och 50% av referenserna till testsamlingen. Deskriptiv statistik om antalet originalartiklar som granskats för varje studie, antalet artiklar som ingår i textsamlingen och procentandelen positiva artiklar i varje textsamling visas i tabell 3. Den första kolumnen listar namnet på läkemedelsgranskningen, den andra antalet citeringar
Cohen m.fl. REF har utvecklat en utvärderingssamling som innehåller 15 systematiska utvärderingar av läkemedelsklasserna.
Reducing Workload in Systematic Review Preparation Using Automated Citation Classification
{'venue': 'Journal of the American Medical Informatics Association : JAMIA', 'journal': 'Journal of the American Medical Informatics Association : JAMIA', 'mag_field_of_study': ['Computer Science', 'Medicine']}