Det vetenskapliga samfundet står inför farhågor om forskningens reproducerbarhet inom många områden. För att ta itu med detta problem i Natural Language Processing, CLEF eHealth 2016 lab erbjöd en replikering spår tillsammans med den kliniska information Extraction uppgift. Häri rapporterar vi detaljerade resultat av de replikeringsförsök som genomförts med de tre system som lämnats in till banan. Även om alla resultat slutligen replikerades, fann vi att systemen var dåligt betygsatta av analytiker på dokumentation aspekter som "enase of understanding system krav" (33 %) och "tillhandahållande av information medan systemet körs" (33 %). Som ett resultat av detta skulle systemförfattare kunna vidta enkla åtgärder för att göra det lättare att replikera sitt arbete och därigenom göra det lättare att återanvända systemen. Våra experiment syftar till att öka samhällets medvetenhet om de utmaningar som replikering och gemensam delning av NLP-system innebär.
Som en del av en NLP-utmaning rapporterar Ref resultat om replikering av experiment från tre system som lämnats in till CLEF eHälsospåret.
Replicability of Research in Biomedical Natural Language Processing: a pilot evaluation for a coding task
{'venue': 'Louhi@EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}