Vi utvecklar en topputförande modell för automatisk, exakt och språkoberoende förutsägelse av menings-nivå statistisk maskinöversättning (SMT) kvalitet med eller utan att titta på översättning outputs. Vi härleder olika funktioner som mäter närheten av en given test mening till träningsdata och svårigheten att översätta meningen. Vi beskriver monofunktionsfunktioner som baseras på statistik från endast en sida av parallella träningskorpora- och duofunktionsfunktioner som innehåller statistik som omfattar både käll- och målsidan av träningsdata. Sammantaget beskriver vi nya, språkoberoende, och SMT-system extrinsiska funktioner för att förutsäga SMT prestanda, som också rankas högt under funktionsrankning utvärderingar. Vi experimenterar med olika inlärningsinställningar, med eller utan att titta på översättningarna, som hjälper till att differentiera bidraget från olika funktionsuppsättningar. Vi tillämpar partiella minst kvadrater och funktion delmängd val, som båda förbättrar resultaten och vi presenterar rankning av de bästa funktionerna som valts för varje lärande inställning, ger en uttömmande analys av de extrinsiska funktioner som används. Vi visar att genom att bara titta på testkällan meningar och inte använda översättning outputs alls, kan vi uppnå bättre prestanda än ett baslinjesystem med hjälp av SMT-modell beroende funktioner som genererade översättningarna. Dessutom, vårt förutsägelsesystem kan uppnå 2 nd bästa prestanda totalt sett enligt de officiella resultaten av kvalitetsbedömning uppgift (QET) utmaning när man också tittar på översättning outputs.
I Ref föreslås ett antal egenskaper som mäter likheten mellan källmeningen och MT-tränings-korpusens källsida, som i kombination med funktioner från översättningsutfallet uppnådde betydligt bättre prestanda i MT QE-utvärderingen.
Predicting sentence translation quality using extrinsic and language independent features
{'venue': 'Machine Translation', 'journal': 'Machine Translation', 'mag_field_of_study': ['Computer Science']}