I detta dokument undersöks vilken effekt olika corpus-konfigurationer har på prestandan hos ett coreferensupplösningssystem, mätt med MUC, B3, och CEAF. Genom att separat variera tre parametrar (språk, annoteringsschema och förbehandling av information) och tillämpa samma samreferenssystem, visas de starka banden mellan system och corpus. Experimenten visar på problem i samband med utvärdering av samreferensresolutioner när det gäller uppgiftsdefinition, kodningssystem och funktioner. De exponerar också systematiska förutfattade meningar i samreferensvärderingsmåtten. Vi visar att systemjämförelse endast är möjlig när corpus parametrar är exakt överens.
REF undersöker effekterna på samreferensupplösningens prestanda genom att variera flera framträdande kontextuella faktorer; de mäter prestanda mellan korpora, språk, annoteringssystem och förbehandling.
Coreference Resolution across Corpora: Languages, Coding Schemes, and Preprocessing Information
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}