Vi rapporterar om konstruktionen av en guldstandard dataset som består av kommenterade kliniska anteckningar som lämpar sig för att utvärdera vårt biomedicinska namngivna enhetsigenkänningssystem. Datasetet är resultatet av samförstånd mellan fyra humana annoterare och innehåller 1 556 annoteringar på 160 kliniska anteckningar med hjälp av 658 unika konceptkoder från SNOMED-CT motsvarande mänskliga störningar. Inter-annotator-avtalet beräknades på noteringar från 100 av dokumenten för spännvidd (90,9 %), konceptkod (81,7 %), sammanhang (84,8 %) och status (86,0 %) avtal. Fullständigt avtal om spännvidd, begreppskod, sammanhang och status var 74,6%. Vi fann att skapandet av ett samförstånd som bygger på kommentarer från två fristående noteringsuppsättningar kan minska oenigheten mellan notörer med 32,3 %. Vi fann liten fördel med att föranmäla corpus med en tredje part namngiven enhet erkänner.
Mayo Clinic gruppen förberedde en guld standard corpus av 160 kliniska anteckningar (47,975 ord) REF.
Constructing Evaluation Corpora for Automated Clinical Named Entity Recognition
{'venue': 'LREC', 'journal': None, 'mag_field_of_study': ['Computer Science']}