Sammanfattning Trots mycket forskning om maskinöversättning (MT) utvärdering, det finns förvånansvärt lite arbete som direkt mäter användarnas intuitiva eller känslomässiga preferenser avseende olika typer av MT fel. Att framkalla och modellera användarpreferenser är dock en viktig förutsättning för forskning om användaranpassning och anpassning av MT-motorer. I detta dokument undersöker vi användningen av gemensam analys som en formell kvantitativ ram för att bedöma användarnas relativa preferenser för olika typer av översättningsfel. Vi tillämpar vår strategi för analys av MT produktion från att översätta folkhälsodokument från engelska till spanska. Våra resultat visar att ordordningsfel är den tydligaste feltypen, följt av ordförnimmelse, morfologiska och funktionsordfel. Den gemensamma analysbaserade modellen kan förutsäga användarens preferenser mer exakt än en baslinjemodell som väljer översättningen med de minsta felen totalt sett. Dessutom analyserar vi effekten av att använda en crowd-sourced respondent population kontra ett urval av domänexperter och observera att de viktigaste preferenseffekterna är anmärkningsvärt stabila över de två proverna.
I REF har ett statistiskt grundat tillvägagångssätt baserat på gemensam analys använts för att undersöka användarnas reaktioner på olika typer av översättningsfel.
A conjoint analysis framework for evaluating user preferences in machine translation
{'venue': 'Machine Translation', 'journal': 'Machine Translation', 'mag_field_of_study': ['Computer Science', 'Medicine']}