Semantisk textlikhet (STS) mäter graden av semantisk likvärdighet mellan två texter. I detta dokument presenteras resultaten av STS-pilotuppdraget i Semeval. Utbildningsdata innehöll 2000 mening par från tidigare befintliga parafras datauppsättningar och maskinöversättning utvärdering resurser. Testdata omfattade också 2000 meningar par för dessa dataset, plus två överraskningsdataset med 400 par från en annan maskinöversättning utvärdering corpus och 750 par från en lexical resurs kartläggning. Likheten mellan par av meningar bedömdes på en 0-5 skala (låg till hög likhet) av mänskliga domare som använder Amazon Mechanical Turk, med höga Pearson korrelation poäng, cirka 90%. 35 lag deltog i uppgiften och lämnade in 88 körningar. De bästa resultaten gjorde en Pearson korrelation >80%, långt över en enkel lexical baslinje som bara gjorde en 31% korrelation. Denna pilotuppgift öppnar en spännande väg framåt, även om det fortfarande finns öppna frågor, särskilt utvärderingsmåttet.
Semantisk textlikhet (STS) är uppgiften att bedöma likheten mellan två meningar på en skala från 0 till 5 REF.
SemEval-2012 Task 6: A Pilot on Semantic Textual Similarity
{'venue': 'SemEval', 'journal': None, 'mag_field_of_study': ['Computer Science']}