Bakgrund: Den ökande tillgängligheten av Electronic Health Record (EHR) data och speciellt fritext patient anteckningar ger möjligheter till fenotyp extraktion. Text-mining metoder i synnerhet kan hjälpa sjukdom modellering genom att kartlägga namngivna enheter nämner terminologier och klusterera semantiskt relaterade termer. EHR corpora uppvisar dock specifika statistiska och språkliga egenskaper jämfört med corpora inom det biomedicinska litteraturområdet. Vi fokuserar på copy-and-paste redundans: kliniker kopierar vanligtvis och klistrar in information från tidigare anteckningar när du dokumenterar en aktuell patientträff. Inom ramen för ett longitudinellt patientregister förväntar man sig således att man skall iaktta kraftig redundans. I denna uppsats ställer vi tre forskningsfrågor: i) Hur kan redundans kvantifieras i storskalig textkorpora? ii) Konventionell visdom är att större korpora ger bättre resultat i textbrytning. Men hur påverkar den observerade EHR redundans textbrytningen? Inbringar en sådan redundans en fördomsfullhet som förvränger lärda modeller? Eller introducerar redundansen fördelar genom att belysa stabila och viktiga undergrupper av corpus? iii) Hur kan man minska effekterna av redundans på textbrytning? Resultat: Vi analyserar en storskalig EHR-korpus och kvantifierar redundans både i termer av ord- och semantisk konceptrepetition. Vi observerar redundansnivåer på ca 30% och icke-standard distribution av både ord och begrepp. Vi mäter effekten av redundans på två vanliga text-mining applikationer: collocation identifiering och ämnesmodellering. Vi jämför resultaten av dessa metoder på syntetiska data med kontrollerade nivåer av redundans och observerar betydande prestandavariationer. Slutligen jämför vi två begränsningsstrategier för att undvika redundans-inducerad partiskhet: (i) en baslinje strategi, hålla bara den sista noten för varje patient i corpus; (ii) ta bort redundant anteckningar med en effektiv fingeravtryck-baserad algoritm.
Mer nyligen, Cohen et al. använde Smith-Waterman textjustering algoritm för att kvantifiera redundans både i termer av ord och semantiskt koncept repetition REF.
Redundancy in electronic health record corpora: analysis, impact on text mining performance and mitigation strategies
{'venue': 'BMC Bioinformatics', 'journal': 'BMC Bioinformatics', 'mag_field_of_study': ['Computer Science', 'Medicine']}