ABSTRACT-mål Att presentera en serie experiment: (1) att utvärdera inverkan av pre-annotation på hastigheten av manuell annotering av meddelanden kliniska prövningar, och (2) att testa för potentiella bias, om pre-annotation används. Metoder För att bygga guldstandard, 1400 kliniska försök meddelanden från kliniska trials.gov webbplats valdes slumpmässigt och dubbel annoteras för diagnoser, tecken, symtom, Unified Medical Language System (UMLS) Concept unika identifierare, och SNOMED CT-koder. Vi använde två ordboksbaserade metoder för att föranmäla texten. Vi utvärderade notationstiden och potentiella fördomar genom F-åtgärder och ANOVA tester och genomförde Bonferroni korrigering. Resultat Tidsbesparingarna varierade från 13,85 % till 21,5% per enhet. Interannotatoravtal (IAA) varierade från 93,4% till 95,5%. Det fanns ingen statistiskt signifikant skillnad för IAA och notatorprestanda i preannotationer. Slutsatser Om varje experimentpar behövde annoteraren med den föranmälda texten mindre tid för att kommentera än annoteraren med icke-märkt text. Tidsbesparingarna var statistiskt signifikanta. Föranmälningen minskade inte heller IAA:s eller notatorns prestanda. Dictionary-based pre-annotation är en genomförbar och praktisk metod för att minska kostnaden för annotation av kliniskt namngivna enhet erkännande i de stödberättigande avsnitten av kliniska prövningar tillkännagivanden utan att införa bias i annotationsprocessen. Projekt för bearbetning av naturligt språk kräver manuellt annoterade guldkorporer för att utbilda och testa övervakade, maskininlärningsbaserade algoritmer eller, när det gäller regelbaserade metoder, för att testa hur reglerna fungerar. Mot bakgrund av de höga kostnaderna för manuella expertanmärkningar behöver NLP-forskare robusta metoder för att påskynda anteckningsprocessen, utan att förvanska den genererade guldstandarden. I vår institution arbetar vi med ett NIH-finansierat projekt för att automatisera klinisk prövningsprövning med hjälp av NLP-algoritmer. Denna insats kräver utveckling av en betydande manuellt kommenterad guldstandard. Denna anmärkning är därför mycket tidskrävande och kostsam. I denna studie är vårt mål att presentera en serie experiment: (1) att utvärdera inverkan av preannotation på hastigheten av manuell annotering av kliniska försöksmeddelanden (CTA); och (2) att testa för potentiella bias, om pre-annotation används. Vi definierar potentiella fördomar som antingen ökar diskrepansen mellan notatorer mätt med interannotatoravtal (IAA) eller minskar avtalet (kallas notator prestanda i vår studie) mellan kommentarerna av notatorn med preannoterad text och den slutliga guldstandarden. Annotationsuppgiften inkluderade märkning av medicinska namngivna enheter i två klasser: sjukdom/sjukdom och tecken/ symptom. Uniified Medical Language System (UMLS) Concept Unique Identifiers (CUI) och SNOMED-CT-koder kommenterades också för varje enhet. Resten av pappret är uppbyggt på följande sätt. I avsnittet "Bakgrund och betydelse" presenterar vi relevant litteratur. I "Data and methods" beskriver vi data, experimentella metoder och analytiska metoder. I avsnittet "Resultat" presenterar vi resultaten. I avsnittet "Diskussion" diskuterar vi resultaten, begränsningarna och framtida forskningsfrågor. I det sista avsnittet ger vi våra slutsatser. BAKGRUND OCH BETYDELSE
REF föreslår sjukhusanteckningar i meddelanden om kliniska prövningar.
Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements
{'venue': 'Journal of the American Medical Informatics Association : JAMIA', 'journal': 'Journal of the American Medical Informatics Association : JAMIA', 'mag_field_of_study': ['Computer Science', 'Medicine']}