Vi visar empiriskt att det finns betydande skillnader mellan de japanska texternas diskursstruktur och diskursstrukturen i motsvarande engelska översättningar. För att förbättra översättningskvaliteten föreslår vi en beräkningsmodell för omskrivning av diskursstrukturer. När vi tränar vår modell på en parallell corpus av manuellt byggda japanska och engelska diskurs struktur träd, lär vi oss att skriva japanska träd som träd som är närmare den naturliga engelska återgivningen än de ursprungliga. Nästan alla nuvarande MT-system behandlar text en mening i taget. På grund av detta begränsade fokus kan MT-system inte omgruppera och omordna klausulerna och meningarna i en inmatningstext för att uppnå den mest naturliga återgivningen på ett målspråk. Ändå, även mellan språk så nära engelska och franska, det finns en 10% missmatchning i antal meningar -- vad som sägs i två meningar på ett språk sägs på bara en, eller i tre, i den andra (Gale och Church, 1993). För avlägsna språkpar, till exempel japanska och engelska, är skillnaderna större. Betrakta till exempel den japanska meningen (1), en ord för ord "bloss" av den (2), och en tvåsidig översättning av den som gjordes av en professionell översättare (3). (1) [(Mann och Thompson, 1988). Om vi analyserar textfragmenten noga, kommer vi att märka att när vi översätter mening (1), valde en professionell översättare att först förverkliga informationen i japansk enhet 2 (enhet 2 i text 1) ungefär motsvarar enhet 1 i text (3)); att inse då en del av informationen i japansk enhet 1 (del av enhet 1 i text 1) motsvarar enhet 2 i text (3)); att smälta sedan information som ges i enheter 1, 3 och 5 i text (1) och inse det på engelska som enhet 3; och så vidare. Översättaren valde också att ompaketera informationen i den ursprungliga japanska meningen till två engelska meningar. På elementär enhetsnivå kan korrespondensen mellan japansk mening (1) och dess engelska översättning (3) representeras som i (4}, där j C e betecknar det faktum att det semantiska innehållet i enhet j realiseras helt i enhet e; j D e betecknar det faktum att det semantiska innehållet i enhet e realiseras helt i enhet j; j = e betecknar det faktum att enheter j och e är semantiskt likvärdiga; och j ~ e betecknar det faktum att det finns en semantisk överlappning mellan enheter j och e, men varken korrekt inkludering eller riktig likvärdighet..!1 D e2; jt -~ e3;.12 ---el; 33 C e3;.14 ~ e4;j4 ~ e3;.16 C e6;.17 C e6 (4) Därför. Kartläggningarna i (4) ger all uttrycklig representation av det sätt på vilket informationen återbeställs och omförpackas när den översätts från japanska till engelska. Men när man översätter texten är det också så att den retoriska återgivningen förändras. Vad som realiseras sjuka japanska med hjälp av en CONTRAST relation kan realiseras på engelska med t.ex. en COXl-PARISON eller en ConCESSION relation. Figur I presenterar i stil med Mann och Thompson (1988) diskursstrukturerna för textfragment (1) och (3), varje diskursstruktur är ett träd vars blad motsvarar edus och vars inre noder motsvarar sammanhängande text spänner. Varje nod kännetecknas av en status (NuCLEUS eller SATELLITE) och en retorisk relation, som är en relation som håller mellan två icke-överlappande text spänner. Skillnaden mellan nuclei och satelliter kommer från den empiriska iakttagelsen att kärnan uttrycker vad som är viktigare för författarens avsikt än satelliten: och att kärnan i ett retoriskt förhållande är begripligt oberoende av kakelsatelliten, men inte tvärtom. När spännvidder är lika viktiga är förhållandet nmltinukleär: till exempel är det CONTRAST-förhållande som håller mellan enhet [3] och spännvidd [4.5] i den retoriska strukturen i den engelska texten i figur 1 nmhinukleär. Retoriska relationer som slutar i suffixet "-e" betecknar relationer som motsvarar inbäddade syntaktiska beståndsdelar. Till exempel förhållandet ELABORATION-OBJECT-attriBUTE-E som innehar mellan enheter 2 och 1 i den engelska diskursstrukturen motsvarar en restriktiv släkting. Om man känner till kartläggningarna på edu-nivå kan man också bestämma kartläggningarna på spännnivå (diskurskomponentnivå). Om man till exempel använder de elementära kartläggningarna i (4), bestämmer man att japansk spännvidd [1,2] [6,7] i det japanska trädet motsvarar ett liknande förhållande som. håller mellan spännvidd [1,5] och enhet [6] i det engelska trädet (modulo det faktum att förhållandet på japanska håller mellan utsända encefragment, medan det på engelska håller mellan hela meningar). Det TEMPORAL-AFTER-förhållande som finns mellan enheterna [:3] och [4] sjuka det japanska trädet realiseras dock som ett CONTRAST-förhållande mellan enheten [3] och spännvidden [4.5] i det engelska trädet. Och eftersom japanska enheter [6] och [7] sammansmältes till enhet [6] på engelska, är förhållandet ELABORATION-OBJECT-ATTRIBUTE-E 11o längre explicit i den engelska texten. Några av skillnaderna mellan de två diskursträden i figur 1 i MT-system på syntaktisk nivå. Exempelvis kan omordning av enheterna 1 och 2 hanteras med enbart syntaktiska modeller. Men som vi kommer att se i avsnitt 2 finns det betydande skillnader mellan japanska och engelska när det gäller hur information paketeras och organiseras retoriskt inte bara på meningsnivå, utan också på punkt- och textnivå. Mer specifikt, när människor översätter japanska till engelska, beställer de klausuler, meningar och paragrafer i japanska texter, de paketerar informationen till klausuler, meningar och punkter som inte är en en-till-en kartläggning av de ursprungliga japanska enheterna, och de retoriskt omorganisera strukturen i den översatta texten för att återspegla retoriska begränsningar specifika för engelska. Om ett översättningssystem ska producera text som inte bara är grammatisk utan också sammanhängande måste det se till att diskursstrukturen i måltexten återspeglar de naturliga återgivningarna av målspråket, och inte källspråkets. I Avsnitt 2 visar vi empiriskt att det finns betydande skillnader mellan de japanska texternas retoriska struktur och motsvarande engelska översättningar. Dessa skillnader motiverar vår undersökning av att utveckla beräkningsmodeller för diskursstrukturomskrivning. I avsnitt 3 presenterar vi en sådan omskrivningsmodell, som omordrar den ursprungliga textens utformning, bestämmer engelsk-specifik klausul, mening och styckegränser, och bygger upp den japanska diskursstrukturen i en text med hjälp av engelsk-specifika retoriska återgivningar. I avsnitt 4 utvärderar vi resultatet av ett genomförande av denna modell. Vi avslutar med en diskussion. För att kunna bedöma rollen av diskursstruktur i MT byggde vi manuellt en korpus av diskursträd för 40 japanska texter och deras motsvarande översättningar. Texterna valdes slumpmässigt ut ur ARPA corpus (White and O'Connell, 1994). I genomsnitt hade varje text omkring 460 ord. De japanska texterna hade sammanlagt 335 stycken och 773 meningar. De engelska texterna hade totalt 337 stycken och 827 meningar. Vi utvecklade en diskurs notation protokoll för japanska och engelska i linje med följt av. Vi använde Marcus diskussionsverktyg (1999) för att manuellt konstruera diskursstrukturen för alla japanska och engelska texter i corpus. 10 procent av de japanska och engelska texterna var retoriskt märkta av två av oss. Verktyget och anteckningsprotokollet finns på http://www.isi.edu/~marcu/software/. Annotationsproceduren gav över hela corpus 2641 japanska edus och 2363 engelska edus. Vi beräknade tillförlitligheten av annotationen med hjälp av's metod för att beräkna kappa statistik (Siegel och Castellan, 1988 ) över hierarkiska strukturer. Tabell 1 visar genomsnittlig kappastatistik som reflekterar tillförlitligheten av annotationen av elementära diskursenheter, k~,, hierarkisk diskurs spänner, ks, hierarkiska kärnvapenuppdrag, k, ~, och hierarkiska retoriska relationsuppdrag, k~. Kappas siffror högre än 0,8 motsvarar en god överenskommelse. Kappas siffror högre än 0,6 motsvarar en godtagbar överenskommelse. All Kappa-statistik var statistiskt signifikant på nivåer högre än a = 0,01. Utöver kappa-statistiken visar tabell 1 också inom parentes det genomsnittliga antalet datapunkter per dokument, över vilka kappa-statistiken beräknades. För varje par av japansk-engelska diskursstrukturer byggde vi också manuellt en anpassningsfil, som i notationen som diskuterades på sidan 1 angav korrespondensen mellan edus av den japanska texten och edus av dess engelska översättning. Vi beräknade likheten mellan engelska och japanska diskursträd med hjälp av märkta recall och precisionsfigurer som återspeglade likheten mellan kakel japanska och engelska diskursstrukturer med avseende på deras tilldelning av edu gränser, hierarkiska spännvidder, kärnvapen och retoriska relationer. Eftersom träden vi jämför skiljer sig från ett språk till ett annat i antalet elementära enheter, ordning av dessa enheter, och hur enheterna grupperas rekursivt i diskurs spänner, beräknade vi två typer av återkallande och precision siffror. I computing Position-Dependent (P-D) recall och precision siffror, en japansk spännvidd ansågs matcha en engelsk spännvidd när den japanska spännvidden innehöll alla den japanska edus som motsvarade kakel edus i den engelska spännvidden, och när den japanska och engelska spännen dök upp i kakel samma position med avseende på den övergripande strukturen. Till exempel, det engelska trädet i figur 1 kännetecknas tabell 2: Likhet av japanerna med deras diskurs struktur under meningen nivå har en återkallelse av 4/10 och en precision av 4/11 (i figur 1, Det finns 11 sub-sentential japanska spännvidder). I computing Position-Independent (P-I) recall och precision siffror, även när en japansk spännvidd "flytte" under översättningen till en position i det engelska trädet som var annorlunda från positionen i det ursprungliga trädet, P-I recall och precision siffror påverkades inte. Positionsoberoende siffror återspeglar intuitionen att om två träd tl och t2 båda har ett underträd t, tl och t2 är mer lika än om de inte delade något träd. På meningsnivå utgår vi därför ifrån att om t.ex. en relativ klausuls syntaktiska struktur omsätts på lämpligt sätt (även om den inte är korrekt bifogad), så är detta bättre än att felaktigt översätta denna klausul. Positionsoberoende siffror erbjuder ett mer optimistiskt mått för att jämföra diskursträd. De spänner över ett bredare område av värden än Position-Dependent figurer, som möjliggör en finare kornad jämförelse, vilket i sin tur möjliggör en bättre karakterisering av skillnaderna mellan japanska och engelska diskursstrukturer. När man intar en optimistisk hållning, för spännen på sub-sententiell nivå i träden i tabell 1 För att ge en bättre uppskattning av hur nära två diskurs träd var, beräknade vi PositionDependent och -Independent recall och precision siffror för den Sentential nivå (där enheter ges av edus och spänner ges av uppsättningar av edus eller enstaka meningar); punkt nivå (där enheter ges av meningar och spännen ges av uppsättningar av meningar eller enstaka stycken); och textnivå (där enheter ges av punkter och spänner ges av uppsättningar av punkter). Dessa siffror ger en detaljerad bild av hur diskursstrukturer och relationer kartläggs från ett språk till ett annat över alla och engelska diskursstrukturer diskursnivåer, från mening till text. Skillnaderna på meningsnivå kan förklaras med skillnader mellan de syntaktiska strukturerna i japanska och engelska. Skillnaderna i punkt- och textnivåerna har en rent retorisk förklaring. Som väntat, när vi beräknade återkallelse- och precisionssiffrorna med avseende på kärnvapen- och relationsuppdragen, tog vi också hänsyn till de statuser och retoriska relationer som betecknade varje par av spännen. Tabell 2 smnmarizes resultaten (P-D och P-I (R)ecall och (P)recision siffror) för varje nivå (Sendens, punkt och text). Siffrorna i rapporten "Viktigt medelvärde" i genomsnitt av siffrorna i domen-, punkt- och textspecifika siffror, viktade enligt antalet enheter på varje nivå. Siffrorna i raden "Alla" återspeglar återkallnings- och precisionssiffror som beräknas över hela träden, utan att någon uppmärksamhet ägnas åt menings- och punktgränser. Med tanke på de betydligt olika syntaktiska strukturerna i japanska och engelska blev vi inte förvånade över de låga recall- och precisionsresultat som speglar likheten mellan diskursträd som byggts under meningsnivån. Som tabell 2 visar finns det dock betydande skillnader mellan diskursträden även på punkt- och textnivå. För provpie visar positionsoberoende siffror att endast ca 62% av meningarna och endast ca 53% av de hierarkiska spännvidder som byggts över meningar kunde matchas mellan de två corpora. När man tittar på status och retoriska relationer i samband med de spännvidder som byggts över meningar på punktnivå, P-I minns och precisionssiffrorna sjunker till cirka 43% respektive 35%. Skillnaderna i återkallande och precision förklaras både av skillnader i hur information förpackas i stycken på de två språken och hur den är strukturerad retoriskt både inom och över styckenivån. Dessa resultat tyder starkt på att om man försöker översätta japanska till engelska av meningsskäl, är det troligt att den resulterande texten kommer att vara onaturlig ur ett diskursperspektiv. Till exempel, om viss information som återges med hjälp av en CON-TRAST relation på japanska återges med hjälp av en ELABORATION relation på engelska, skulle det vara olämpligt att använda en diskurs markör som "men" i den engelska översättningen, även om det skulle vara förenligt med den japanska diskursstrukturen. En granskning av de retoriska kartläggningarna mellan japanska och engelska visade att vissa japanska retoriska återgivningar konsekvent kartläggs i en eller några föredragna återgivningar på engelska. Till exempel kartläggs 34 av 115 fortsatta förbindelser i de japanska texterna till "Contrast Relations" på engelska; 27 blir kärnor i förbindelser som ANTITH-SIS och Concession, 14 översätts till "COMPAR-ISON Relations", 6 som satelliter av Concession Relations, 5 som LISTA Relations, etc. Vårt mål är att lära oss dessa systematiska diskurskartläggningsregler och utnyttja dem i ett maskinöversättningssammanhang. Mot ett diskursbaserat maskinöversättningssystem 3.1 Övergripande arkitektur Vi arbetar för närvarande med att bygga modulerna i ett diskursbaserat maskinöversättningssystem som fungerar enligt följande linjer. 1. Vad är det för fel på dig? En diskurstolk, till exempel de som beskrivs av Sumita et al. (1992), Kurohashi (1994) och MarcH (1999), först härleds diskursstrukturen i den text som ges som input. 2. Utgångspunkten är följande: En diskursstrukturöverföringsmodul skriver om diskursstrukturen i indatatexten för att återspegla en diskursåtergivning som är naturlig för målspråket. 3. Vad är det som händer? En statistisk modul kartlägger indatatexten till målspråket med hjälp av översättnings- och språkmodeller som innehåller diskursspecifika funktioner, som extraheras från utdata från diskurstolken och diskursöverföringsmodulerna. I det här dokumentet fokuserar vi bara på diskursstrukturöverföringsmodulen. Det vill säga, vi undersöker möjligheten att bygga en sådan modul. 3.2 Den diskursbaserade överföringsmodellen För att lära oss att skriva om diskursstrukturträd tar vi först upp ett relaterat problem, som vi definierar nedan: Om det för någon tuple (Ts, Tt, C> en sådan sekvens av åtgärder kan härledas, är det då möjligt att använda en corpus av (Ts, Tt, C) tuples för att automatiskt lära sig att härleda från ett osynligt träd Ts, som har samma strukturella egenskaper som träden Ts, ett träd Ttj, som har strukturella egenskaper som liknar träden Tt. För att lösa problemet i definition 3.1 utvidgar vi det paradigm som Magerman (1995), Hermjakob och Mooney (1997) och MarcH (1999) tillämpar. I detta utvidgade paradigm börjar överföringsprocessen med en tom Stack och en Inmatningslista som innehåller en sekvens av elementära diskursträd edts, en edt för varje edu i trädet Ts ges som inmatning. Status och retorisk relation i samband med varje edt är odefinierad. Vid varje steg tillämpar överföringsmodulen en operation som syftar till att bygga från enheterna i T, diskursträdet Tt. I samband med vår diskurs-överföring modul, behöver vi 7 typer av operationer: • SHIFT operationer överföra den första edt från inmatningslistan till stacken; • REDUCE operationer pop de två diskurs träd som ligger högst upp i stacken; kombinera dem till ett nytt träd uppdatera status och retoriska relation namn på de träd som deltar i operationen; och skjuta det nya trädet på toppen av stacken. Dessa operationer används för att bygga strukturen av diskursträdet i målspråket. • BREAK-operationer används för att bryta edten i början av inmatningslistan till ett förutbestämt antal enheter. Dessa åtgärder används för att säkerställa att det resulterande trädet har samma antal edts som Tt. En BREAK operation är nödvändig när en japansk edu kartläggs i nmltiple engelska enheter. • CREATE-NEXT verksamhet används för att skapa engelska diskurs väljare som inte har någon korrespondent i det japanska trädet. • Fuse operationer används för att sammanfoga edt på toppen av stacken i trädet som omedelbart föregår den. Dessa operationer används när flera japanska edus kartläggs i en engelsk edu. • SWAP transaktioner byta edt i början av inmatningslistan med en edt hittade en eller flera positioner till höger. Dessa operationer är nödvändiga för att omordna diskurskomponenterna. • ASSIGNTYPE operationer tilldela en eller flera av följande typer av träd i toppen av stacken: Enhet, MultiUnit, Dom, Punkt, MultiParagraph, och Text. Dessa op- erioner är nödvändiga för att säkerställa mening och punkt gränser som är specifika för målspråket. Till exempel kan den första meningen i det engelska trädet i figur 1 erhållas från den ursprungliga japanska sekvensen genom att följa sekvensen av åtgärder (5), vars effekter visas i figur 2. För kompaktitetens skull illustrerar inte figuren effekten av ASSIGNTYPE-åtgärderna. I samma syfte motsvarar vissa rader mer än en åtgärd.
En studie av REF föreslog en metod för att förbättra japansk-till-engelska översättning genom att omvandla den källstruktur som genereras av en retorisk strukturteori (RST) parser, till motsvarande målstruktur.
The Automatic Translation Of Discourse Structures
{'venue': 'Applied Natural Language Processing Conference And Meeting Of The North American Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}