Manuell utvärdering av översättningens kvalitet anses i allmänhet vara överdrivet tidskrävande och kostsamt. Vi utforskar ett snabbt och billigt sätt att göra det med Amazons Mekaniska Turk för att betala små summor till ett stort antal icke-expert annoterare. För $ 10 vi redundant återskapa domar från en WMT08 översättning uppgift. Vi finner att när kombinerade icke-expert bedömningar har en hög nivå av enighet med de befintliga guld-standard bedömningar av maskinöversättning kvalitet, och korrelerar mer med expert bedömningar än Bleu gör. Vi fortsätter att visa att Mekanisk Turk kan användas för att beräkna mänskliga-medierad översättning redigeringsfrekvens (HTER), för att utföra läsförståelse experiment med maskinöversättning, och för att skapa högkvalitativa referensöversättningar.
REF ) använder MTurk-arbetare för manuell utvärdering av automatisk översättningskvalitet och experiment med vägd röstning för att kombinera flera kommentarer.
Fast, Cheap, and Creative: Evaluating Translation Quality Using Amazon’s Mechanical Turk
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}