Målet med den första BioCreAtIvE-utmaningen (Critical Assessment of Information Extraction in Biology) var att tillhandahålla en uppsättning gemensamma utvärderingsuppgifter för att bedöma den senaste tekniken för textutvinning som tillämpas på biologiska problem. Resultaten presenterades i en workshop i Granada den 28-31 mars 2004. De artiklar som samlas in i detta BMC Bioinformatics tillägg med titeln "En kritisk bedömning av textbrytningsmetoder i molekylärbiologi" beskriver BioCreAtIvE uppgifter, system, resultat och deras oberoende utvärdering. Resultat: BioCreAtIvE fokuserade på två uppgifter. Den första handlade om extraktion av gen- eller proteinnamn från text, och deras kartläggning till standardiserade genidentifierare för tre modellorganismdatabaser (fluga, mus, jäst). Den andra uppgiften tog upp frågor om funktionell annotering, vilket kräver system för att identifiera specifika textavsnitt som stödde Gene Ontology annoteringar för specifika proteiner, givet fulltextartiklar. Den första BioCreAtIvE-bedömningen uppnådde en hög grad av internationellt deltagande (27 grupper från 10 länder). Bedömningen gav state-of-the-art prestandaresultat för en grundläggande uppgift (gennamnssökning och normalisering), där de bästa systemen uppnådde en balanserad 80% precision / återkalla eller bättre, vilket potentiellt gör dem lämpliga för verkliga tillämpningar i biologi. Resultaten för den avancerade uppgiften (funktionell kommentar från fri text) var betydligt lägre, vilket visar de nuvarande begränsningarna i text-mining metoder där kunskap extrapolering och tolkning krävs. Ett viktigt bidrag från BioCreAtIvE har dessutom varit att skapa och släppa utbildnings- och testdatauppsättningar för båda arbetsuppgifterna. Det finns 22 artiklar i detta specialnummer, däribland sex som ger analyser av resultat eller datakvalitet för datamängderna, inklusive en ny bedömning av inter-annotatorkonsistens för den testuppsättning som används i uppgift 2.
BioCreative, en uppsättning utmaningar som fokuserar på att bedöma biomedicinsk textbrytning, är den största strävan i sitt slag, till det bästa av vår kunskap REF.
Overview of BioCreAtIvE: critical assessment of information extraction for biology
{'venue': 'BMC Bioinformatics', 'journal': 'BMC Bioinformatics', 'mag_field_of_study': ['Medicine', 'Computer Science']}