b'\n_START_ARTICLE_\nEvalvacija strojnih prevajalnikov\n_START_PARAGRAPH_\nObstaja veliko metod za evalvacijo strojnih prevajalnikov. Ta \xc4\x8dlanek se ukvarja predvsem z evalvacijo prevodov, ne s funkcionalnostjo in drugimi lastnostmi strojnih prevajalnikov.\n_START_SECTION_\nMetode\n_START_PARAGRAPH_\nEvalvacija je zelo subjektivna in kompleksna, zato univerzalna metoda ocenjevanja \xc5\xa1e ni dolo\xc4\x8dena. Znana evalvacija strojnih prevajalnikov, ki je iz\xc5\xa1la leta 1966, je Alpacovo poro\xc4\x8dilo. Kriterijev ocenjevanja iz tega poro\xc4\x8dila so pri evalvaciji prevodov uporabljali \xc5\xa1tevilni raziskovalci._NEWLINE__NEWLINE_Hutchins in Somers (1992) pri analizi besedila navajata tri kriterije: ali prevod posreduje enake informacije kot izvirnik (informativost), ali so besede v prevodu primerne glede na vsebino in namen (ustreznost) in ali je prevod jasen (razumljivost). Pogosto so nerazumljivi prevodi zvesti izvirniku, popolnoma razumljivi prevodi pa posredujejo nepopolne ali celo napa\xc4\x8dne informacije. Prav tako ni dovolj, da besedilo lepo te\xc4\x8de, a obenem ni primerno po namenu in vsebini. Pri analizi so torej pomembni vsi trije vidiki, ki niso nujno soodvisni._NEWLINE__NEWLINE_Ena mo\xc5\xbenost evalvacije prevoda je preverjanje vsebine z nalogami za bralno razumevanje. Ustreznost besedila je mogo\xc4\x8de preprosto preveriti pri prevodih navodil za uporabo; bralca se preprosto vpra\xc5\xa1a, ali bi z doti\xc4\x8dnimi navodili (prevodom) lahko izvedel \xc5\xbeeleno dejanje. Med mo\xc5\xbenostmi sta tudi povratni prevod ter primerjava informativnosti izvirnika in strojnega prevoda._NEWLINE__NEWLINE_Do oprijemljivej\xc5\xa1e ocene je mogo\xc4\x8de priti s statisti\xc4\x8dnim pristopom, pri katerem se primerja \xc5\xa1tevilo napak razli\xc4\x8dnih vrst. A \xc4\x8deprav se s \xc5\xa1tetjem napak pridobi objektivne \xc5\xa1tevil\xc4\x8dne rezultate, tudi ta pristop ni povsem objektiven, saj vsak ocenjevalec napake vidi druga\xc4\x8de. Nekdo na neko stilisti\xc4\x8dno pomanjkljivost, ki ne vpliva na razumljivost in to\xc4\x8dnost, ne gleda kot na napako, kdo drug pa._NEWLINE__NEWLINE_Prav tako kot na\xc4\x8din ocenjevanja je pomembno, kdo podaja oceno strojnega prevajalnika. Mnenje raziskovalca bo do neke mere druga\xc4\x8dno od mnenja uporabnika, saj raziskovalca zanima potencial orodja na dolgi rok, uporabnika pa uporabnost v danem polo\xc5\xbeaju.\n_START_SECTION_\nPovratni prevod\n_START_PARAGRAPH_\nPovratni prevod (ang. round-trip translation) je prevod, ki smo ga s pomo\xc4\x8djo istega strojnega prevajalnika najprej prevedli v ciljni jezik, nato pa nazaj v izvirni jezik. Najve\xc4\x8dja te\xc5\xbeava pri tem je, da ne moremo vedeti, ali je sistem naredil napako ob prevajanju v drug jezik ali ob prevajanju nazaj v izvirni jezik._NEWLINE_Spodnji primeri prikazujejo, kako je lahko povratno prevajanje za evalvacijo zavajajo\xc4\x8de. V prvem primeru je prevod v italijan\xc5\xa1\xc4\x8dino popolnoma sprejemljiv, medtem ko je v povratnem prevodu kar nekaj napak. V drugem primeru je povratni prevod identi\xc4\x8den izvirniku, medtem ko je prevod v portugal\xc5\xa1\xc4\x8dino brezpredmeten. Pri tretjem primeru (iz Google Translate) je prevod slovenskega frazema v angle\xc5\xa1\xc4\x8dini popolnoma nesmiseln, povratni prevod pa je sicer slovni\xc4\x8dno pravilen, a nerelevanten, saj se ob zamenjani informaciji izgubi pomen frazema._NEWLINE_Angle\xc5\xa1ki izvirnik: Select this link to look at our home page._NEWLINE_Prevod v italijan\xc5\xa1\xc4\x8dino: Selezioni questo collegamento per guardare il nostro Home Page._NEWLINE_Povratni prevod: Selections this connection in order to watch our Home Page._NEWLINE_Angle\xc5\xa1ki izvirnik: Tit for tat._NEWLINE_Prevod v portugal\xc5\xa1\xc4\x8dino: Melharuco para o tat._NEWLINE_Povratni prevod: Tit for tat._NEWLINE_Slovenski izvirnik: Ne ti\xc4\x8d ne mi\xc5\xa1_NEWLINE_Prevod v angle\xc5\xa1\xc4\x8dino: Do not cock Sun mouse._NEWLINE_Povratni prevod: Ne petelin ne mi\xc5\xa1.\n_START_SECTION_\nRo\xc4\x8dna evalvacija\n_START_PARAGRAPH_\nLeta 1966 je Alpac (Automatic Language Processing Advisory Committee) objavil raziskavo na temo ro\xc4\x8dne evalvacije, v kateri so ocenjevali \xc4\x8dlove\xc5\xa1ke in strojne prevode. Ocenjevalci so bili usposobljeni posebej za raziskavo. Ocenjevali so prevode iz ru\xc5\xa1\xc4\x8dine v angle\xc5\xa1\xc4\x8dino, in sicer vidika razumljivosti (angl. intelligibility) in z vidika zvestobe (angl. fidelity). Najprej so z ocenami od 1 do 10 vrednotili berljivost prevoda - v kolik\xc5\xa1ni meri je bil prevod razumljiv, ne da bi ocenjevalci videli original. Nato pa so z ocenami od 1 do 10 ocenjevali informativnost, tj. semanti\xc4\x8dno pravilnost prevoda v primerjavi z izvirnikom - ali so vsi podatki oziroma vse informacije, ki jih vsebuje izvirnik, ohranjene ali katera manjka, ali je v prevodu kak\xc5\xa1en podatek dodan, ali so katere besede ostale neprevedene ipd. Raziskava je pokazala, da so bile razlike med ocenjevalci majhne, kljub temu pa priporo\xc4\x8dajo, da pri evalvaciji sodelujejo vsaj tri ali \xc5\xa1tirje ocenjevalci. Ocenjevalci so zlahka lo\xc4\x8dili, ali gre za \xc4\x8dlove\xc5\xa1ki ali za strojni prevod._NEWLINE_V podjetju Arpa (Advanced Research Projects Agency) so leta 1991 pod okriljem projekta Human Language Technologies Program vzpostavili evalvacijski program, ki deluje \xc5\xa1e danes, in izdelali metodologijo za evalvacijo strojnih prevajalnikov. Glavni izziv pri evalvaciji je bil zmanj\xc5\xa1ati subjektivnost \xe2\x80\x93 ocenjevanje mora biti intuitivno in hkrati kar se da objektivno, kar se ka\xc5\xbee v minimalnih odstopanjih med ocenjevalci. Najprimernej\xc5\xa1e metode, ki so jih izbrali za nadaljnjo uporabo, so vklju\xc4\x8devale evalvacijo razumljivosti s pomo\xc4\x8djo testov razumevanja, evalvacija primernosti ki so jo izvedli materni govorci angle\xc5\xa1\xc4\x8dine, in evalvacijo, ki temelji na primernosti in berljivosti in informativnosti.\n_START_SECTION_\nSamodejna evalvacija\n_START_PARAGRAPH_\nKo je v za\xc4\x8detku devetdesetih let ameri\xc5\xa1ka vlada sponzorirala tekmovanje med strojnimi prevajalniki, so vse prevode ocenjevali ro\xc4\x8dno. Visoki stro\xc5\xa1ki, subjektivnost in porabljen \xc4\x8das so spodbudili \xc5\xa1tevilne raziskovalce, da so za\xc4\x8deli iskati objektivnej\xc5\xa1o in hitrej\xc5\xa1o re\xc5\xa1itev.'