Mål: Vi genomförde Social Media Mining for Health (SMM4H) 2017 delade uppgifter för att möjliggöra samhällsdriven utveckling och storskalig utvärdering av automatiska textbehandlingsmetoder för klassificering och normalisering av hälsorelaterad text från sociala medier. Ytterligare ett mål var att offentliggöra manuellt kommenterade uppgifter. Material och metoder: Vi organiserade 3 oberoende subtasks: automatisk klassificering av självrapporter av 1) biverkningar (ADR) och 2) medicinering konsumtion, från medicinering-menterande tweets, och 3) normalisering av ADR uttryck. Utbildningsdata bestod av 15 717 kommenterade tweets för (1), 10 260 för (2), och 6650 ADR-fraser och identifierare för (3), och visade typiska egenskaper hos social-media-baserade hälsorelaterade texter. Systemen utvärderades med hjälp av 9961, 7513 respektive 2500 fall för de tre deluppgifterna. Vi utvärderade prestanda av klasser av metoder och ensembler av systemkombinationer efter de delade uppgifterna. Resultat: Bland 55 systemkörningar var de bästa systempoängen för de 3 deluppgifterna 0,435 (ADR klass F 1 -poäng) för subtask-1, 0,693 (mikromedelvärde F 1 -poäng över två klasser) för subtask-2 och 88,5% (noggrannhet) för subtask-3. Ensembler av systemkombinationer fick bästa poäng på 0,476, 0,702 och 88,7%, presterande individuella system. Diskussion: Bland enskilda system, stöd vektor maskiner och konvolutionella neurala nätverk visade hög prestanda. Prestandavinster som uppnås genom ensembler av systemkombinationer tyder på att sådana strategier kan vara lämpliga för operativa system som bygger på svåra textklassificeringsuppgifter (t.ex. subtask-1).  Slutsatser: Dataobalans och brist på sammanhang är fortfarande utmaningar för behandling av text i sociala medier i naturligt språk. Noterade uppgifter från den gemensamma uppgiften har gjorts tillgängliga som referensstandarder för framtida studier (http://dx.doi.org/10.17632/rxwfb3tysd.1).
SMM4H:s gemensamma uppgift REF 2017 var den första satsningen för utvärdering av NLP-metoder för normalisering av hälsorelaterad text från sociala medier på offentligt utgivna data.
Data and systems for medication-related text classification and concept normalization from Twitter: insights from the Social Media Mining for Health (SMM4H)-2017 shared task
{'venue': None, 'journal': 'Journal of the American Medical Informatics Association', 'mag_field_of_study': ['Medicine', 'Computer Science']}