Med den ständigt växande mängden textdata från ett stort antal språk, domäner och genrer har det blivit standard att utvärdera NLP-algoritmer på flera datauppsättningar för att säkerställa en konsekvent prestanda mellan heterogena konfigurationer. Sådana multipla jämförelser utgör dock betydande utmaningar för traditionella statistiska analysmetoder i NLP och kan leda till felaktiga slutsatser. I detta dokument föreslår vi ett ramverk för replikerbarhetsanalys för en statistiskt sund analys av flera jämförelser mellan algoritmer för NLP-uppgifter. Vi diskuterar de teoretiska fördelarna med detta ramverk jämfört med den nuvarande, statistiskt omotiverade praxisen i NLP-litteraturen, och demonstrerar dess empiriska värde för fyra tillämpningar: multi-domänberoende tolkning, flerspråkig POS-märkning, cross-domain känsla klassificering och ordlikviditet förutsägelse. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
I REF föreslås en ram för "replikerbarhetsanalys" och det visas att den används för olika uppgifter, t.ex. del-av-tal-märkning eller cross-domain stämningsklassificering.
Replicability Analysis for Natural Language Processing: Testing Significance with Multiple Datasets
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}