Evalvacija strojnih prevajalnikov
Obstaja veliko metod za evalvacijo strojnih prevajalnikov. Ta članek se ukvarja predvsem z evalvacijo prevodov, ne s funkcionalnostjo in drugimi lastnostmi strojnih prevajalnikov.

Metode 
Evalvacija je zelo subjektivna in kompleksna, zato univerzalna metoda ocenjevanja še ni določena. Znana evalvacija strojnih prevajalnikov, ki je izšla leta 1966, je Alpacovo poročilo. Kriterijev ocenjevanja iz tega poročila so pri evalvaciji prevodov uporabljali številni raziskovalci.

Hutchins in Somers (1992) pri analizi besedila navajata tri kriterije: ali prevod posreduje enake informacije kot izvirnik (informativost), ali so besede v prevodu primerne glede na vsebino in namen (ustreznost) in ali je prevod jasen (razumljivost). Pogosto so nerazumljivi prevodi zvesti izvirniku, popolnoma razumljivi prevodi pa posredujejo nepopolne ali celo napačne informacije. Prav tako ni dovolj, da besedilo lepo teče, a obenem ni primerno po namenu in vsebini. Pri analizi so torej pomembni vsi trije vidiki, ki niso nujno soodvisni.

Ena možnost evalvacije prevoda je preverjanje vsebine z nalogami za bralno razumevanje. Ustreznost besedila je mogoče preprosto preveriti pri prevodih navodil za uporabo; bralca se preprosto vpraša, ali bi z dotičnimi navodili (prevodom) lahko izvedel želeno dejanje. Med možnostmi sta tudi povratni prevod ter primerjava informativnosti izvirnika in strojnega prevoda.

Do oprijemljivejše ocene je mogoče priti s statističnim pristopom, pri katerem se primerja število napak različnih vrst. A čeprav se s štetjem napak pridobi objektivne številčne rezultate, tudi ta pristop ni povsem objektiven, saj vsak ocenjevalec napake vidi drugače. Nekdo na neko stilistično pomanjkljivost, ki ne vpliva na razumljivost in točnost, ne gleda kot na napako, kdo drug pa.

Prav tako kot način ocenjevanja je pomembno, kdo podaja oceno strojnega prevajalnika. Mnenje raziskovalca bo do neke mere drugačno od mnenja uporabnika, saj raziskovalca zanima potencial orodja na dolgi rok, uporabnika pa uporabnost v danem položaju.

Povratni prevod  

Povratni prevod (ang. round-trip translation) je prevod, ki smo ga s pomočjo istega strojnega prevajalnika najprej prevedli v ciljni jezik, nato pa nazaj v izvirni jezik.
Največja težava pri tem je, da ne moremo vedeti, ali je sistem naredil napako ob prevajanju v drug jezik ali ob prevajanju nazaj v izvirni jezik.

Spodnji primeri prikazujejo, kako je lahko povratno prevajanje za evalvacijo zavajajoče. V prvem primeru je prevod v italijanščino popolnoma sprejemljiv, medtem ko je v povratnem prevodu kar nekaj napak. V drugem primeru je povratni prevod identičen izvirniku, medtem ko je prevod v portugalščino brezpredmeten. Pri tretjem primeru  (iz Google Translate) je prevod slovenskega frazema v angleščini popolnoma nesmiseln, povratni prevod pa je sicer slovnično pravilen, a nerelevanten, saj se ob zamenjani informaciji izgubi pomen frazema.

Angleški izvirnik: Select this link to look at our home page. 

Prevod v italijanščino: Selezioni questo collegamento per guardare il nostro Home Page. 
Povratni prevod: Selections this connection in order to watch our Home Page. 

Angleški izvirnik: Tit for tat. 
Prevod v portugalščino: Melharuco para o tat. 
Povratni prevod: Tit for tat. 

Slovenski izvirnik: Ne tič ne miš
Prevod v angleščino: Do not cock Sun mouse.
Povratni prevod: Ne petelin ne miš.

Ročna evalvacija 

Leta 1966 je Alpac (Automatic Language Processing Advisory Committee) objavil raziskavo na temo ročne evalvacije, v kateri so ocenjevali človeške in strojne prevode. Ocenjevalci so bili usposobljeni posebej za raziskavo. Ocenjevali so prevode iz ruščine v angleščino, in sicer vidika razumljivosti (angl. intelligibility) in z vidika zvestobe (angl. fidelity). Najprej so z ocenami od 1 do 10 vrednotili berljivost prevoda - v kolikšni meri je bil prevod razumljiv, ne da bi ocenjevalci videli original. Nato pa so z ocenami od 1 do 10 ocenjevali informativnost, tj. semantično pravilnost prevoda v primerjavi z izvirnikom - ali so vsi podatki oziroma vse informacije, ki jih vsebuje izvirnik, ohranjene ali katera manjka, ali je v prevodu kakšen podatek dodan, ali so katere besede ostale neprevedene ipd. Raziskava je pokazala, da so bile razlike med ocenjevalci majhne, kljub temu pa priporočajo, da pri evalvaciji sodelujejo vsaj tri ali štirje ocenjevalci. Ocenjevalci so zlahka ločili, ali gre za človeški ali za strojni prevod.

V podjetju Arpa (Advanced Research Projects Agency) so leta 1991 pod okriljem projekta Human Language Technologies Program vzpostavili evalvacijski program, ki deluje še danes, in izdelali metodologijo za evalvacijo strojnih prevajalnikov. Glavni izziv pri evalvaciji je bil zmanjšati subjektivnost – ocenjevanje mora biti intuitivno in hkrati kar se da objektivno, kar se kaže v minimalnih odstopanjih med ocenjevalci.
Najprimernejše metode, ki so jih izbrali za nadaljnjo uporabo, so vključevale evalvacijo razumljivosti s pomočjo testov razumevanja, evalvacija primernosti ki so jo izvedli materni govorci angleščine, in evalvacijo, ki temelji na primernosti in berljivosti in informativnosti.

Samodejna evalvacija  
Ko je v začetku devetdesetih let ameriška vlada sponzorirala tekmovanje med strojnimi prevajalniki, so vse prevode ocenjevali ročno. Visoki stroški, subjektivnost in porabljen čas so spodbudili številne raziskovalce, da so začeli iskati objektivnejšo in hitrejšo rešitev.

Aplikacije 

Metrike za samodejno evalvacijo so na voljo kot brezplačna računalniška orodja, napisana v programskem jeziku Perl (BLEU in GTM) ali Java (METEOR in TERp), na naslednjih spletnih straneh: 

 BLEU  
GTM   
 METEOR   
 TERp   

Metriki BLEU in GTM ocenjujeta le na podlagi skupnih n-gramov med strojnim in referenčnim prevodom, medtem ko sta metriki METEOR in TERp naprednejši evalvacijski orodji, saj za natančnejše ocenjevanje uporabljata bazo sinonimov, bazo parafraz in iskanje zadetkov po korenih besed.

Viri 

Strojno prevajanje
Obstaja veliko metod za evalvacijo strojnih prevajalnikov . Ta članek se ukvarja predvsem z evalvacijo prevodov , ne s funkcionalnostjo in drugimi lastnostmi strojnih prevajalnikov . Metode Evalvacija je zelo subjektivna in kompleksna , zato univerzalna metoda ocenjevanja še ni določena . Znana evalvacija strojnih prevajalnikov , ki je izšla leta je Alpacovo poročilo . Kriterijev ocenjevanja iz tega poročila so pri evalvaciji prevodov uporabljali številni raziskovalci . Hutchins in Somerspri analizi besedila navajata tri kriterije : ali prevod posreduje enake informacije kot izvirnik ( informativost ) , ali so besede v prevodu primerne glede na vsebino in namen ( ustreznost ) in ali je prevod jasen ( razumljivost ) . Pogosto so nerazumljivi prevodi zvesti izvirniku , popolnoma razumljivi prevodi pa posredujejo nepopolne ali celo napačne informacije . Prav tako ni dovolj , da besedilo lepo teče , a obenem ni primerno po namenu in vsebini . Pri analizi so torej pomembni vsi trije vidiki , ki niso nujno soodvisni . Ena možnost evalvacije prevoda je preverjanje vsebine z nalogami za bralno razumevanje . Ustreznost besedila je mogoče preprosto preveriti pri prevodih navodil za uporabo ; bralca se preprosto vpraša , ali bi z dotičnimi navodili ( prevodom ) lahko izvedel želeno dejanje . Med možnostmi sta tudi povratni prevod ter primerjava informativnosti izvirnika in strojnega prevoda . Do oprijemljivejše ocene je mogoče priti s statističnim pristopom , pri katerem se primerja število napak različnih vrst . A čeprav se s štetjem napak pridobi objektivne številčne rezultate , tudi ta pristop ni povsem objektiven , saj vsak ocenjevalec napake vidi drugače . Nekdo na neko stilistično pomanjkljivost , ki ne vpliva na razumljivost in točnost , ne gleda kot na napako , kdo drug pa . Prav tako kot način ocenjevanja je pomembno , kdo podaja oceno strojnega prevajalnika . Mnenje raziskovalca bo do neke mere drugačno od mnenja uporabnika , saj raziskovalca zanima potencial orodja na dolgi rok , uporabnika pa uporabnost v danem položaju . Povratni prevod Povratni prevod ( ang . round - trip translation ) je prevod , ki smo ga s pomočjo istega strojnega prevajalnika najprej prevedli v ciljni jezik , nato pa nazaj v izvirni jezik . Največja težava pri tem je , da ne moremo vedeti , ali je sistem naredil napako ob prevajanju v drug jezik ali ob prevajanju nazaj v izvirni jezik . Spodnji primeri prikazujejo , kako je lahko povratno prevajanje za evalvacijo zavajajoče . V prvem primeru je prevod v italijanščino popolnoma sprejemljiv , medtem ko je v povratnem prevodu kar nekaj napak . V drugem primeru je povratni prevod identičen izvirniku , medtem ko je prevod v portugalščino brezpredmeten. Pri tretjem primeru ( iz Google Translate ) je prevod slovenskega frazema v angleščini popolnoma nesmiseln , povratni prevod pa je sicer slovnično pravilen , a nerelevanten , saj se ob zamenjani informaciji izgubi pomen frazema . Angleški izvirnik : Select this link to look at our home page . Prevod v italijanščino : Selezioni questo collegamento per guardare il nostro Home Page . Povratni prevod : Selections this connection in order to watch our Home Page . Angleški izvirnik : Tit for tat . Prevod v portugalščino : Melharuco para o tat . Povratni prevod : Tit for tat . Slovenski izvirnik : Ne tič ne miš Prevod v angleščino : Do not cock Sun mouse . Povratni prevod : Ne petelin ne miš. Ročna evalvacija Letaje Alpac ( Automatic Language Processing Advisory Committee ) objavil raziskavo na temo ročne evalvacije , v kateri so ocenjevali človeške in strojne prevode . Ocenjevalci so bili usposobljeni posebej za raziskavo . Ocenjevali so prevode iz ruščine v angleščino , in sicer vidika razumljivosti ( angl . intelligibility ) in z vidika zvestobe ( angl . fidelity ) . Najprej so z ocenami oddovrednotili berljivost prevoda - v kolikšni meri je bil prevod razumljiv , ne da bi ocenjevalci videli original . Nato pa so z ocenami oddoocenjevali informativnost , tj. semantično pravilnost prevoda v primerjavi z izvirnikom - ali so vsi podatki oziroma vse informacije , ki jih vsebuje izvirnik , ohranjene ali katera manjka , ali je v prevodu kakšen podatek dodan , ali so katere besede ostale neprevedene ipd. Raziskava je pokazala , da so bile razlike med ocenjevalci majhne , kljub temu pa priporočajo , da pri evalvaciji sodelujejo vsaj tri ali štirje ocenjevalci . Ocenjevalci so zlahka ločili , ali gre za človeški ali za strojni prevod . V podjetju Arpa ( Advanced Research Projects Agency ) so letapod okriljem projekta Human Language Technologies Program vzpostavili evalvacijski program , ki deluje še danes , in izdelali metodologijo za evalvacijo strojnih prevajalnikov . Glavni izziv pri evalvaciji je bil zmanjšati subjektivnost – ocenjevanje mora biti intuitivno in hkrati kar se da objektivno , kar se kaže v minimalnih odstopanjih med ocenjevalci . Najprimernejše metode , ki so jih izbrali za nadaljnjo uporabo , so vključevale evalvacijo razumljivosti s pomočjo testov razumevanja , evalvacija primernosti ki so jo izvedli materni govorci angleščine , in evalvacijo , ki temelji na primernosti in berljivosti in informativnosti . Samodejna evalvacija Ko je v začetku devetdesetih let ameriška vlada sponzorirala tekmovanje med strojnimi prevajalniki , so vse prevode ocenjevali ročno . Visoki stroški , subjektivnost in porabljen čas so spodbudili številne raziskovalce , da so začeli iskati objektivnejšo in hitrejšo rešitev . Aplikacije Metrike za samodejno evalvacijo so na voljo kot brezplačna računalniška orodja , napisana v programskem jeziku Perl ( BLEU in GTM ) ali Java ( METEOR in TERp ) , na naslednjih spletnih straneh : BLEU GTM METEOR TERp Metriki BLEU in GTM ocenjujeta le na podlagi skupnih n - gramov med strojnim in referenčnim prevodom , medtem ko sta metriki METEOR in TERp naprednejši evalvacijski orodji , saj za natančnejše ocenjevanje uporabljata bazo sinonimov , bazo parafraz in iskanje zadetkov po korenih besed . Viri Strojno prevajanje