Bakgrund: Tävlingar inom textbrytning har använts för att mäta prestandan hos automatiska textbehandlingslösningar mot en manuellt kommenterad guldstandardkorpus (GSC). Förberedelsen av generalsekretariatet är tidskrävande och kostsam och den slutliga corpus består som mest av några tusen dokument kommenterade med en begränsad uppsättning semantiska grupper. För att komma till rätta med dessa brister har CALBC:s projektpartner tagit fram en storskalig annoterad biomedicinsk corpus med fyra olika semantiska grupper genom harmonisering av kommentarer från automatiska textbrytningslösningar, den första versionen av Silver Standard Corpus (SSC-I). De fyra semantiska grupperna är kemiska enheter och läkemedel (CHED), gener och proteiner (PRGE), sjukdomar och sjukdomar (DISO) och arter (SPE). Denna corpus har använts för den första CALBC Challenge ber deltagarna att kommentera corpus med deras text bearbetningslösningar. Resultat: Alla fyra PP från CALBC-projektet och dessutom bidrog 12 utmanare (CP) med kommenterade datauppsättningar för en utvärdering mot SSC-I. CPs skulle kunna bortse från utbildningsuppgifterna och lämna kommentarerna från deras verkliga noteringssystem, eller skulle kunna träna en maskininlärningsmetod på de förhandsanmälda uppgifterna. I allmänhet var resultaten av noteringslösningarna lägre för enheter från kategorierna CHED och PRGE jämfört med identifieringen av enheter som kategoriserats som DISO och SPE. Den bästa prestandan för alla semantiska grupper uppnåddes genom två annoteringslösningar som har utbildats på SSC-I. Datauppsättningarna från deltagarna användes för att generera den harmoniserade Silver Standard Corpus II (SSC-II), om deltagaren inte använde den kommenterade datauppsättningen från SSC-I för utbildningsändamål. Föreställningarna av deltagarnas lösningar mättes återigen mot SSC-II. Resultaten av notationslösningarna visade återigen bättre resultat för DISO och SPE jämfört med CHED och PRGE.
Det har använts för de 2 notationsutmaningarna REF.
Assessment of NER solutions against the first and second CALBC Silver Standard Corpus
{'venue': 'Journal of Biomedical Semantics', 'journal': 'Journal of Biomedical Semantics', 'mag_field_of_study': ['Computer Science', 'Medicine']}