Vi utvärderade maskinöversättning prestanda för sex europeiska språkpar som deltog i en gemensam uppgift: översätta franska, tyska, spanska texter till engelska och tillbaka. Utvärderingen gjordes automatiskt med hjälp av BLEU-poängen och manuellt med avseende på fluens och tillräcklighet. För 2006 NACL/HLT Workshop om maskinöversättning, organiserade vi en delad uppgift för att utvärdera maskinöversättning prestanda. 14 lag från 11 institutioner deltog, allt från kommersiella företag, industriella forskningslabb till enskilda doktorander. Motiveringen till en sådan tävling är att fastställa referensresultat för definierade utbildningsscenarier och testuppsättningar. Vi samlade olika former av data och resurser: ett basalt MT-system, språkmodeller, förberedd utbildning och testuppsättningar, vilket resulterade i faktiska maskinöversättningar från flera toppmoderna system och manuella utvärderingar. Allt detta finns på verkstadens hemsida 1. Den gemensamma uppgiften är en uppföljning till den som vi organiserade föregående år, på en liknande plats (Koehn och Monz, 2005). Som då koncentrerade vi oss på översättningen av europeiska språk och användningen av Europarl-korpus för utbildning. Återigen kunde de flesta system som deltog kategoriseras som statistiska frasbaserade system. Även om det nu finns ett antal tävlingar -DARPA/NIST (Li, 2005), IWSLT (Eck och Hori, 2005), TC-Star -denna är inriktad på textöversättning mellan olika europeiska språk. Årets gemensamma uppgift ändrades i vissa avseenden från förra årets: • Vi gjorde en manuell utvärdering utöver den automatiska poängsättningen. Manuell utvärdering 1 http://www.statmt.org/wmt06/ gjordes av deltagarna. Detta avslöjade intressanta ledtrådar om egenskaperna hos automatisk och manuell poängsättning. • Vi utvärderade översättning från engelska, förutom till engelska. Engelska parades återigen ihop med tyska, franska och spanska. Vi lade emellertid ned ett av språken, finska, delvis för att hålla antalet spår hanterbara, dels för att vi antog att det skulle vara svårt att hitta tillräckligt många finska talare för den manuella utvärderingen. • Vi inkluderade en out-of-domain test set. Detta gör att vi kan jämföra maskinöversättning prestanda in-domän och out-of-domain. Utvärderingsramen för den gemensamma uppgiften liknar den som användes i förra årets gemensamma uppgift. Utbildning och testning baseras på Europarl corpus. Figur 1 ger viss statistik om denna corpus. För att minska hinder för inträde i tävlingen, vi gav en komplett baslinje MT-system, tillsammans med dataresurser. För att sammanfatta, vi gav: • meningsjusterad, tokenized utbildning corpus • en utveckling och utveckling test uppsättning • utbildade språkmodeller för varje språk • frasbaserade MT dekoder farao • en utbildning manus för att bygga modeller för Farao Prestanda av baslinjesystemet liknar de bästa inlagorna i förra årets gemensamma uppgift. Vi arbetar för närvarande med ett fullständigt genomförande av ett utbildnings- och avkodningssystem med öppen källkod, som bör bli tillgängligt under sommaren.  Testdatan hämtades återigen från ett segment av Europarl corpus från fjärde kvartalet 2000, vilket inte ingår i utbildningsuppgifterna. Deltagarna fick också två uppsättningar med 2 000 meningar parallelltext som skulle användas för systemutveckling och inställning. Utöver Europarl-testet samlade vi också in 29 redaktioner från Project Syndicate website 2, som publiceras på alla de fyra språken i den gemensamma uppgiften. Vi anpassade texterna till en meningsnivå på alla fyra språken, vilket resulterade i 1064 meningar per språk. För statistik över denna testmängd, se figur 1. Det out-of-domain testet skiljer sig från Europarl-data på olika sätt. Texttypen är redaktionella istället för talutskrifter. Området är allmän politik, ekonomi och vetenskap. Det är dock också till största delen politiskt innehåll (även om det inte är inriktat på Europeiska unionens interna verksamhet) och yttrande. Vi fick inlagor från 14 grupper från 11 institutioner, som listas i figur 2. De flesta av dessa grupper följer en frasbaserad statistisk metod för maskinöversättning. Microsofts strategi använder de-2 http://www.project-syndicate.com/pendency-träd, medan andra använder hierarkiska frasmodeller. Systran lämnade in sitt kommersiella regelbaserade system som inte var anpassat till Europarl-korpus. Ungefär hälften av deltagarna i förra årets gemensamma uppgift deltog igen. Den andra halvan ersattes av andra deltagare, så vi slutade med ungefär samma antal. Jämfört med förra årets gemensamma uppgift representerar deltagarna mer långsiktiga forskningsinsatser. Detta kan vara tecknet på en mognande forskningsmiljö. Att bygga ett maskinöversättningssystem är ett allvarligt åtagande, men i framtiden hoppas vi kunna locka fler nykomlingar till fältet genom att hålla inträdeshindret så lågt som möjligt. För mer information om de deltagande systemen, se respektive systembeskrivning i verkstadens arbete. För den automatiska utvärderingen använde vi BLEU, eftersom det är det mest etablerade mätvärdet på fältet. BLEU-måttet, som alla för närvarande föreslås automatiska mått, misstänks ibland vara partiskt gentemot statistiska system, särskilt de frasbaserade system som för närvarande används. Det belönar matchningar av n-gram sekvenser, men mäter endast som mest indirekt övergripande grammatisk samstämmighet. BLEU-poängen har visat sig korrelera väl med människans bedömning, när statistiska ma-104-kinesöversättningssystem jämförs (Doddington, 2002; Przybocki, 2004; Li, 2005). Men, en nyligen genomförd studie, påpekade att denna korrelation kanske inte alltid är stark. De visade detta genom att jämföra statistiska system med a) manuellt efterredigerad MT-utgång och b) ett regelbaserat kommersiellt system. Utvecklingen av automatiska poängsättningsmetoder är ett öppet forskningsområde. Det var vår förhoppning att denna tävling, som omfattade manuell och automatisk utvärdering av statistiska system och ett regelbaserat kommersiellt system, skulle ge ytterligare insikt i förhållandet mellan automatisk och manuell utvärdering. Åtminstone skapar vi en dataresurs (manualanteckningarna) som kan ligga till grund för framtida forskning i mätvärden. Vi beräknade BLEU poäng för varje inlämning med en enda referensöversättning. För varje mening räknade vi hur många n-gram i systemutmatningen som också förekom i referensöversättningen. Genom att ta förhållandet mellan matchande n-gram och det totala antalet n-gram i systemutmatningen får vi precisionen p n för varje n-gramordning n. Dessa värden för n-gramprecision kombineras till en BLEU-poäng: Formeln för BLEU-måttet innehåller också en kort straffavgift för alltför kort utmatning, som baseras på det totala antalet ord i systemutmatningen c och i referensen r. BLEU är känslig för tokenisering. På grund av detta, vi retokenized och slowcased lämnade ut med vår egen tokenizer, som också användes för att förbereda utbildning och testdata. Konfidensinterval: Eftersom BLEU-poängen inte beräknas på meningsnivå gäller inte traditionella metoder för att beräkna statistisk signifikans och konfidensintervall. Därför använder vi den bootstrap omsamplingsmetod som beskrivs av Koehn (2004). Enligt denna metod tar vi gång på gång - säg 1000 gånger - prover av meningar från varje systems utgång, mäter deras BLEU-poäng och använder dessa 1000 BLEU-poäng som grund för att uppskatta ett konfidensintervall. När de övre och nedre 2,5 % av BLEU-poängen sänks definierar de återstående BLEU-poängen konfidensintervallets intervall. Parvis jämförelse: Vi kan använda samma metod för att bedöma den statistiska betydelsen av ett system som överträffar ett annat. Om två systems poäng är nära, kan detta helt enkelt vara en slumpmässig effekt i testdata. För att kontrollera detta gör vi parvis bootstrap omampling: Återigen, vi upprepade gånger prov uppsättningar meningar, denna gång från båda systemen, och jämföra deras BLEU poäng på dessa uppsättningar. Om ett system är bättre i 95 procent av provuppsättningarna, drar vi slutsatsen att dess högre BLEU-poäng statistiskt sett är betydligt bättre. Metoden med bootstrap har kritiserats av Riezler och Maxwell (2005) och Collins et al. (2005), eftersom man är alltför optimistisk när det gäller att besluta om statistiska betydande skillnader mellan systemen. Vi tillämpar därför en annan metod, som har använts vid 2005 års DARPA/NIST-utvärdering. Vi delar upp varje test i block med 20 meningar (100 block för in-domäntestuppsättningen, 53 block för utomdomäntestuppsättningen), kontrollera för varje block, om ett system har en högre BLEU-poäng än den andra, och sedan använda skylttestet. Skylttestkontrollerna, hur sannolikt ett urval av bättre och sämre BLEU-poäng skulle ha genererats av två system med lika prestanda. Låt oss säga, om vi hittar ett system som fungerar bättre på 20 av blocken, och värre på 80 av blocken, är det betydligt värre? Vi kontrollerar, hur sannolikt endast upp till k = 20 bättre poäng av n = 100 skulle ha genererats av två lika system, med hjälp av binomial distribution: Om p(0..k; n, p) < 0,05, eller p(0.k; n, p) > 0,95 då har vi en statistiskt signifikant skillnad mellan systemen.  105 Även om automatiska åtgärder är ett ovärderligt verktyg för den dagliga utvecklingen av maskinöversättningssystem, de är bara en ofullständig ersättning för mänsklig bedömning av översättningens kvalitet, eller som förkortningen BLEU uttrycker det, en tvåspråkig utvärdering understudie. Många mänskliga mätvärden har föreslagits. Argumentet har också framförts att maskinöversättningsprestanda bör utvärderas via uppgiftsbaserade utvärderingsmått, dvs. Hur mycket det hjälper till att utföra en användbar uppgift, t.ex. stödja mänskliga översättare eller hjälpa till med att analysera texter. Den största nackdelen med manuell utvärdering är att det är tidskrävande och därmed för dyrt att göra ofta. I denna gemensamma uppgift ställdes vi också inför detta problem, och eftersom vi inte hade någon finansiering för att betala mänskliga bedömningar bad vi deltagarna i utvärderingen att dela bördan. Deltagare och andra frivilliga bidrog med ca 180 timmars arbete i den manuella utvärderingen. Vi frågade deltagarna till varje domare 200-300 meningar i form av fluens och tillräcklighet, de vanligaste manuella utvärderingsmåtten. Vi bestämde oss för kontrasterande utvärderingar av 5 systemutgångar för en enda test mening. Se figur 3 för en skärmbild av utvärderingsverktyget. Genom att presentera resultaten av flera system kan den mänskliga domaren göra mer välgrundade bedömningar, vilket kontrasterar mot de olika systemens kvalitet. Domarna tenderar att göras mer i form av en rangordning av de olika systemen. Vi antog att en sådan kontrasterande bedömning skulle vara till nytta för en utvärdering som i huvudsak ställer olika system mot varandra. Medan vi hade upp till 11 inlagor för en översättning riktning, bestämde vi oss för att inte presentera alla 11 system outputs för den mänskliga domaren. Vårt inledande experiment med utvärderingsverktyget visade att detta ofta är alltför överväldigande. Att göra de tio bedömningarna (2 typer för 5 system) tar i genomsnitt 2 minuter. Vanligtvis, domare 106 till en början spenderade cirka 3 minuter per straff, men sedan accelerera med erfarenhet. Domare som uteslutits från att bedöma kvaliteten på de MT-system som lämnats in av deras institution. Domar och system valdes slumpmässigt ut och blandades slumpmässigt för presentation. Vi samlade in cirka 300-400 domar per domtyp (brist eller flyt), per system, per språkpar. Detta är mindre än 694 domar 2004 DARPA/NIST-utvärderingen, eller 532 domar i 2005 års DARPA/NIST-utvärdering. Detta minskar den statistiska betydelsen av våra resultat jämfört med dessa studier. Antalet domar är dessutom fragmenterat på grund av att vi har gjort slut på meningarna till "in-domän" och "out-of-domain". De mänskliga domarna presenterades med följande definition av lämplighet och fluens, men inga ytterligare instruktioner: Domarna varierade i den genomsnittliga poäng de delade ut. Den genomsnittliga fluensbedömningen per domare varierade från 2,33 till 3,67 och den genomsnittliga bedömningen av tillräcklighet varierade från 2,56 till 4,13. Eftersom olika domare bedömde olika system (återkalla att domare uteslöts att bedöma systemresultat från sin egen institution), normaliserade vi poängen. Den normaliserade domen per domare är den råa domen plus (3 minus den genomsnittliga råa domen för denna domare). Med ord normaliseras domarna, så att den genomsnittliga normaliserade domen per domare är 3. Ett annat sätt att se på bedömningarna är att de är mindre kvalitetsbedömningar av maskinöversättningssystem i sig, men ranking av maskinöversättningssystem. I själva verket är det mycket svårt att upprätthålla konsekventa standarder, om vad (säg) en tillräcklig bedömning av 3 innebär även för ett specifikt språkpar. Det sätt på vilket domar samlas in, mänskliga domare tenderar att använda poäng för att rangordna system mot varandra. Om ett system är perfekt, ett annat har små brister och det tredje fler brister, en domare är benägen att dela ut bedömningar av 5, 4, och 3. Å andra sidan, när alla system producerar grumlad effekt, men man är bättre, och man är sämre, men inte helt fel, är en domare benägen att dela ut domar av 4, 3, och 2. Domen av 4 i det första fallet kommer att gå till en betydligt bättre systemutgång än i det andra fallet. Därför normaliserade vi också domar per entens. Den normaliserade domen per mening är den råa domen plus (0 minus den genomsnittliga råa domen för denna domare på denna dom). System som i allmänhet gör bättre än andra kommer att få en positiv genomsnittlig normaliserad bedömning per mening. System som i allmänhet gör värre än andra kommer att få en negativ. Man kan argumentera med dessa ansträngningar för normalisering, och slutligen deras värde bör bedömas genom att bedöma deras inverkan på inter-annotator avtal. Med tanke på det begränsade antal domar vi fick försökte vi inte utvärdera detta. Konfidensinterval: För att uppskatta konfidensintervallen för medelpoängen för systemen använder vi standard signifikanstester. Med tanke på en uppsättning n meningar, kan vi beräkna provet medelvärde och prov varians s 2 av de enskilda mening bedömningar x i : Förlängningen av konfidensintervallet [x−d,x+d] kan beräknas genom Parwise Jämförelse: När det gäller automatisk utvärdering metrisk, vill vi kunna rangordna olika system mot varandra, för vilka vi behöver bedömningar av statistisk signifikans på skillnaderna mellan ett par system. Tyvärr har vi mycket mindre data att arbeta med än med automatiska poäng. Sättet vi figur 4 : Antal och förhållandet mellan statistiskt signifikant skillnad mellan systemprestanda. Automatiska poäng beräknas på en större testad än manuella poäng (3064 meningar vs 300-400 meningar). samlade manuella bedömningar, vi har inte nödvändigtvis samma mening bedöms för båda systemen (domare utvärderar 5 system av 8-10 deltagande system). För ett stort antal meningar har vi dock denna direkta jämförelse, som gör att vi kan tillämpa skylttestet, som beskrivs i avsnitt 2.2. Resultaten av den manuella och automatiska utvärderingen av de deltagande systemöversättningarna beskrivs i siffrorna i slutet av detta dokument. Poäng och konfidensintervall anges först i figurerna 7-10 i tabellform (inklusive led), och sedan i grafisk form i figurerna 11-16. I diagrammen indikeras systempoängen med en punkt, konfidensintervallen med skuggade områden runt punkten. I alla siffror presenterar vi per-sentence normaliserade bedömningar. Normaliseringen per domare gav mycket liknande rankning, endast något mindre överensstämmande med rankningen från de parvisa jämförelserna. Konfidensintervallen beräknas genom omprovtagning av bootstrap för BLEU, och genom standard signifikanstester för de manuella poängen, som beskrivits tidigare i pappret. Parvis jämförelse görs med hjälp av skylttestet. Ofta kan två system inte särskiljas med ett förtroende på över 95%, så det finns rangordnade samma. Detta sker faktiskt ganska ofta (mer nedan), så att rankingen är breda uppskattningar. Till exempel: om 10 system deltar, och ett system gör bättre än 3 andra, värre än sedan 2, och är inte betydande skiljer sig från de återstående 4, dess rang är i intervallet 3-7.  Vid första anblicken inser vi snabbt att många system är mycket lika, både när det gäller manuell bedömning och BLEU. Det kan ibland finnas ett system tydligt överst eller underst, men de flesta system är så nära att det är svårt att skilja dem åt. I figur 4 visade vi antalet systemjämförelser, för vilka vi kom fram till statistisk signifikans. För den automatiska poängsättningsmetoden BLEU kan vi urskilja tre fjärdedelar av systemen. Medan Bootstrap metoden är något känsligare, är det mycket i linje med skylttestet på textblock. För manuell poängsättning kan vi urskilja endast hälften av systemen, både när det gäller fluens och tillräcklighet. Fler bedömningar skulle ha gjort det möjligt för oss att göra bättre distinktioner, men det är inte klart vad den övre gränsen är. Vi kan kontrollera, vilka konsekvenserna av mindre manuell annotering av resultaten skulle ha varit: Med hälften av antalet manuella bedömningar kan vi urskilja omkring 40 procent av systemen, 10 procent mindre. Testet omfattade 2000 meningar från Europarl-korpus, men också 1064 meningar utanför huvudtestdata. Eftersom införandet av utomdomäntestdata var ett mycket sent beslut, informerades deltagarna inte om detta. Detta var därför en överraskning på grund av praktiska skäl, inte illvilja. Alla system (med undantag för Systran, som inte var anpassat till Europarl) gjorde betydligt sämre resultat när det gällde uppgifter om out-domänutbildning. Detta visas av genomsnittliga poäng för alla system, i termer av BLEU, fluens och tillräcklighet, som visas i figur 5. De manuella poäng är medelvärden över rå onormaliserade poäng.  Det är väl känt att språkpar som engelskatyska utgör fler utmaningar för maskinöversättningssystem än språkpar som franskaengelska. Olika meningsstruktur och rikt målspråk morfologi är två skäl till detta. Återigen kan vi beräkna genomsnittliga poäng för alla system för de olika språkpar (Figur 6 ). Skillnaderna i svårighet återspeglas bättre i BLEU-poängen än i de råa onormaliserade manuella bedömningarna. Det enklaste språkparet enligt BLEU (engelska-franska: 28.33) fick sämre manuella poäng än de svåraste (engelska-tyska: 14.01). Detta beror på att olika domare fokuserade på olika språkpar. De olika genomsnitten för manuella poäng för de olika språkparen återspeglar således domarnas beteende, inte systemens kvalitet på olika språkpar. Med tanke på de flesta systemens närhet och de breda överlappande konfidensintervallen är det svårt att göra starka uttalanden om sambandet mellan mänskliga bedömningar och automatiska poängsättningsmetoder som BLEU. Vi bekräftar fyndet av Callison-Burch et al. (2006) att det regelbaserade systemet för Systran inte uppskattas tillräckligt av BLEU. I-domänen Systran poäng på denna metriska är lägre än alla statistiska system, även de som har mycket sämre mänskliga poäng. Förvånansvärt nog är denna effekt mycket mindre uppenbar när det gäller out-of-domain testdata. Till exempel har Systran de bästa BLEU-poängen och manuella poäng för out-of-domain engelsk-franska. Vår misstanke är att BLEU är mycket känsligt för jargong, att välja exakt rätt ord, och inte synonymer som mänskliga domare kan uppskatta lika bra. Detta kan inte vara den enda förklaringen, eftersom diskrepansen fortfarande gäller till exempel för icke-domänisk fransk-engelska, där Systran får bland de bästa lämplighets- och fluenspoängen, men en sämre BLEU-poäng än alla utom ett statistiksystem. Denna uppsättning manuella bedömningar bör utgöra en fruktbar resurs för forskning om bättre automatiska poängsättningsmetoder. Vem vann tävlingen? Det bästa svaret på detta är: många forskningslabb har mycket konkurrenskraftiga system vars prestanda är svår att skilja åt. Detta är inte helt förvånande, eftersom alla system använder mycket liknande teknik. För vissa språkpar (t.ex. tyska engelska) är systemets prestanda mer divergerande än för andra (t.ex. engelsk-franska), åtminstone mätt med BLEU. De statistiska systemen tycks fortfarande ligga efter den kommersiella regelbaserade konkurrensen när de översätter till morfologiska rika språk, vilket framgår av resultaten för engelsk-tyska och engelsk-franska. Det dominerande fokuset på att bygga system som översätts till engelska har hittills ignorerat de svåra frågorna om att generera rik morfologi som kanske inte bestäms enbart av lokala sammanhang. Detta är första gången som vi organiserar en storskalig manuell utvärdering. Medan vi använde standardmått i samhället, det sätt vi presenterade översättningar och föranledde för bedömning skilde sig från andra utvärderingskampanjer. Till exempel, i den senaste IWSLT utvärderingen, första fluency annotations var efterfrågad (samtidigt som källsatsen), och sedan tillräcklighet annoteringar. Nästan alla notatorer rapporterade svårigheter med att upprätthålla en konsekvent standard för fluens- och lämplighetsbedömningar, men de flesta gick dock inte uttryckligen mot en rangordningsbaserad utvärdering.
"Referens Ref" föreslår en manuell och automatisk utvärdering av MT-system.
Manual And Automatic Evaluation Of Machine Translation Between European Languages
{'venue': 'Workshop On Statistical Machine Translation', 'journal': None, 'mag_field_of_study': ['Computer Science']}