Semantisk textlikhet (STS) är en grundläggande NLP-uppgift och kan användas i ett brett spektrum av uppgifter. För att bestämma STS för två texter finns det dock hundratals olika STS-system för en NLP-systemdesigner, det är svårt att bestämma vilket system som är bäst. För att besvara denna fråga görs en egen utvärdering av STS-systemen genom att jämföra systemets resultat med människans bedömningar av semantisk likhet. Jämförelsen görs vanligtvis med Pearson korrelation. I detta arbete visar vi att det kan vara vilseledande att förlita sig på inneboende utvärderingar med Pearson korrelation. I tre gemensamma STS-baserade uppgifter kunde vi observera att Pearson korrelationen var särskilt illa lämpad för att upptäcka det bästa STS-systemet för uppgiften och andra utvärderingsåtgärder var mycket bättre lämpade. I detta arbete definierar vi hur giltigheten av en egen utvärdering kan bedömas och jämföra olika inneboende utvärderingsmetoder. Förståelsen av egenskaperna hos den riktade uppgiften är avgörande och vi föreslår en ram för att genomföra den inneboende utvärderingen som tar hänsyn till egenskaperna hos den riktade uppgiften.
Medan Pearson korrelation mellan människobedömda likhetspoäng och förutsagda utfall används ofta, kan denna typ av korrelation vara vilseledande i närvaro av avvikande eller icke-linjära relationer REF.
Task-Oriented Intrinsic Evaluation of Semantic Textual Similarity
{'venue': 'COLING', 'journal': None, 'mag_field_of_study': ['Computer Science']}