Vanliga algoritmer för mening och ordanpassning tillåter automatisk identifiering av ordöversättningar från paxalhl texter. Denna studie tyder på att identifiering av ordöversättningar också bör vara möjlig med icke-paxMlel och även orelaterade texter. Den föreslagna metoden bygger på antagandet att det finns ett samband mellan mönster för ordsammankomster i texter på olika språk. I ett antal färska studier har det visat sig att ordöversättningar automatiskt kan härledas från den statistiska fördelningen av ord i tvåspråkiga paxalleltexter (t. ex. Catizone, Russell & Warwick, 1989; Brown et al., 1990; Dagan, Church & Gale, 1993; Kay & Rbscheisen, 1993). De flesta av de föreslagna algoritmerna gör först en justering av meningar, dvs. de yxpalxar av meningar som finns och som är översättningar av varandra. I ett andra steg utförs en ordjustering genom att analysera ordkorrespondenserna i varje par meningar. De resultat som uppnåtts med dessa algoritmer har befunnits användbara för sammanställning av ordböcker, för kontroll av konsekvensen i terminologisk användning i översättningar, och för att bistå terminologiskt arbete av översättare och tolkar. Men trots allvarliga ansträngningar i sammanställningen av corpora (Church & Mercer, 1993; Armstrong & Thompson, 1995 ) tillgängligheten av en tillräckligt stor paxallel corpus inom ett visst område och för ett visst par språk alltid kommer att vara undantaget, inte regeln. Eftersom förvärv av texter som inte är paxallel vanligtvis är mycket enklare, skulle det vara önskvärt att ha ett program som kan bestämma översättningar av ord från jämförbara eller till och med orelaterade texter. Det antas att det finns ett samband mellan sammanfallande ord som är översättningar av varandra. Om - till exempel - i en text av ett språk två ord A och B co-occur oftare än förväntat av slumpen, då i en text av ett annat språk de ord som yxa översättningar av A och B bör också co-occur oftare än förväntat. Detta antagande är rimligt för parallella texter. I detta dokument förutsätts det emellertid vidare att sammanfallsmönstren i originaltexterna inte i grunden skiljer sig från dem i översatta texter. Från en engelsk vokabulär med sex ord och motsvarande tyska översättningar, tabell la och b visar en engelska och en tysk co-occurrence mat~x. I dessa matriser har de poster som hör till dessa ordpar som i texter förekommer oftare än förväntat markerats med en prick. I allmänhet är ordordning i raderna och kolumnerna i en co-occurence matris oberoende av varandra, men för syftet med detta papper kan alltid antas vara lika utan förlust av generalitet. Om nu ordet ordning av den engelska matrisen är permuterad tills det resulterande mönstret av prickar är mest lik den av den tyska matrisen (se tabell lc), ökar detta sannolikheten för att den engelska och tyska ord yxan i motsvarande ordning. Ord n i den engelska matrisen är då översättningen av ord n i den tyska matrisen. 3 Simulering Ett simuleringsförsök utfördes för att se om ovanstående antaganden om likheten mellan co-occurence mönster faktiskt håller. I detta experiment, för en motsvarande engelska och tyska ordförråd två samtidiga matriser beräknades och sedan jämfördes. Som den engelska vokabulären användes en lista på 100 ord, som h~l föreslogs av Kent & Rosanoff (1910) för föreningsexperiment. Den tyska vokabulären bestod av en med en översättning av dessa ord som Russell valde (1970). Ordet samtidiga händelser beräknades på grundval av en engelsk corpus på 33 och en tysk corpus på 46 miljoner ord. Den engelska corpus består av 320 Tabell 1: När ordorden av den engelska och den tyska matrisen motsvarar, prickmönster av de två matriserna är identiska.
Såsom föreskrivs i Rapp Ref, "tillgången till en tillräckligt stor parallell corpus inom ett visst område och för ett visst par språk kommer alltid att vara undantaget, inte regeln", sådana corpora är fortfarande tillgängliga endast för de bäst anskaffade språkpar.
Identifying Word Translations In Non-Parallel Texts
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}