Som en del av projektet i2b2 (Informatics for Integrating Biology to the Bedside) organiserade författarna en utmaning för naturlig språkbehandling (NLP) om att automatiskt ta bort privat hälsoinformation (PHI) från journaler över medicinska utsläpp. Detta manuskript ger en översikt över denna "avidentifierande utmaning", beskriver data och notationsprocessen, förklarar utvärderingsmåtten, diskuterar arten av de system som hanterade utmaningen och analyserar resultaten av mottagna systemkörningar. Utmaningsuppgifterna bestod av utskrivningssammanfattningar hämtade från Partners Healthcare-systemet. Författare förberedde dessa data för utmaningen genom att ersätta äkta PHI med syntetiserade surrogat. För att fokusera utmaningen på icke-ordboksbaserade avidentifierande metoder berikades data med out-of-vokabulary PHI surrogates, d.v.s. påhittade namn. Uppgifterna inkluderade också några PHI surrogat som var tvetydiga med medicinska icke-PHI termer. Totalt sju lag deltog i utmaningen. Varje lag lämnade in upp till tre system körs, för totalt sexton bidrag. Författarna använde precision, återkallande och F-åtgärd för att utvärdera det inlämnade systemet körs baserat på deras token-nivå och instans-nivå prestanda på marken sanningen. System med den bästa prestandan poängsatt över 98 % i F-mått för alla kategorier av identifierare. De flesta ut-av-vokabulära PHI kunde identifieras exakt. Att identifiera tvetydiga PHI visade sig dock vara en utmaning. Systemens prestanda på testdatamängden är uppmuntrande. Framtida utvärderingar av dessa system kommer att omfatta större datamängder från mer heterogena källor.
REF I denna workshop utvärderades systemen med hjälp av tre prestandamått: precision, återkallande och f-mätning.
Evaluating the State-ofthe-Art in Automatic De-identification
{'venue': 'Journal of the American Medical Informatics Association : JAMIA', 'journal': 'Journal of the American Medical Informatics Association : JAMIA', 'mag_field_of_study': ['Computer Science', 'Medicine']}