Betygsskalor är en allmänt använd metod för data annotation, men de innebär flera utmaningar, såsom svårigheter att upprätthålla inter- och intra-annotator konsekvens. Bästa-värsta skalning (BWS) är en alternativ metod för annotering som påstås producera högkvalitativa annoteringar samtidigt som det erforderliga antalet annoteringar som liknar den för betygsskalor. Sannolikheten för detta påstående har dock aldrig systematiskt fastställts. Här startar vi för första gången ett experiment som direkt jämför klassificeringsskalan med BWS. Vi visar att med samma totala antal kommentarer, BWS producerar betydligt mer tillförlitliga resultat än betygsskalan.
REF visade genom empiriska experiment att BWS producerar tillförlitligare och mer diskriminerande poäng än de som erhållits med hjälp av betygsskalor.
Best-Worst Scaling More Reliable than Rating Scales: A Case Study on Sentiment Intensity Annotation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}