ABSTRACT I denna artikel kommer vi att beskriva de olika stegen i byggandet av EPEC (Referens Corpus för bearbetning av baskiska). EPEC är en corpus av standard skrivna baskiska som har manuellt märkts på olika nivåer (morfologi, ytsyntax, fraser) och för närvarande hand taggas på djup syntax nivå efter beroendestrukturbaserade systemet. Det syftar till att vara en "referens" corpus för utveckling och förbättring av flera NLP-verktyg för baskiska. Denna corpus har redan använts för konstruktion av vissa verktyg såsom en morfologisk analysator, en lemmatiser eller en ytlig syntaktikanalysator. När Sarasola (2000) angav de strategiska prioriteringarna för utvecklingen av språkteknik på minoritetsspråk: Språkfundament och forskning är nödvändiga för att skapa alla verktyg eller tillämpningar, men på samma sätt kommer verktyg och tillämpningar att vara till stor hjälp i forskningen och förbättra språkfundamenten. Därför måste dessa tre nivåer [tillämpningar, verktyg och språkfundament] utvecklas stegvis på ett parallellt och samordnat sätt för att få bästa möjliga nytta. Sarasola (2000) föreslår dessutom fem faser som en allmän strategi för att behandla ett språk: 1) lägga grunden, 2) grundläggande verktyg, 3) medelstor komplexitet, 4) avancerade verktyg och flerspråkighet samt 5) tillämpningar. I alla de föreslagna faserna, corpora, först rå och sedan taggade, outstand som en viktig språkresurs. I denna artikel kommer vi att beskriva de olika stegen i byggandet av EPEC (Referens Corpus för bearbetning av baskiska). EPEC är en corpus av standard skrivna baskiska som har manuellt märkts på olika nivåer (morfologi, ytsyntax, fraser) och för närvarande hand taggas på djup syntax nivå. Det syftar till att vara en "referens" corpus för utveckling och förbättring av flera NLP-verktyg för baskiska. I avsnitt 2 förklarar vi hur den råa corpus sammanställdes och vi beskriver kortfattat utformningen av taggarna. I avsnitt 3 redogör vi för den morfologiska disambigeringsprocess som utförs manuellt över resultatet av MORFEUS (den morfologiska analysatorn för baskiska). Den ytliga syntaktiska taggningen och frasmärkningen förklaras i avsnitt 4 respektive 5. Slutligen, i avsnitt 6 förklarar vi kortfattat det taggsystem som valts för den beroendebaserade syntaktiska analysen och hur trädbanken taggas manuellt. I figur 1 kan vi se en skiss av de olika faserna i konstruktionen av EPEC, kontrasterar manuella uppgifter (höger kolumn) med de datorbaserade (vänster kolumn) samt beroendena mellan dem. Den taggade corpus EPEC är en 50 000-ords provsamling av skriven standard baskiska. Det är en strategisk resurs för bearbetningen av baskiska och har redan använts för utveckling och förbättring av vissa verktyg. (1900-1939, 1940-1968, 1969-1990, 1991-1999), 6 olika dialekter (Biskayan, Guipuzcoan, Souletin, LabourdinNavarrese, Standard Baskiska och icke-klassificerade) och 14 genrer (litterär prosa, poesi, teater, administration, tidningar...). Varje bok eller artikel innehöll också information om författaren (eller författarna) och dess titel. En subkorpus på omkring 25 000 ordformer togs ur denna corpus för att bygga EPEC. Texter skrivna på baskiska, motsvarande den sista perioden (1991)(1992)(1993)(1994)(1995)(1996)(1997)(1998)(1999) och som hör till både litterära och icke-litterära prosa, valdes för detta ändamål. artiklar valdes så att de omfattade ett varierat utbud av ämnen (ekonomi, kultur, underhållning, internationell, lokal, åsikt, politik, idrott...). Att välja en lämplig taggar är en viktig uppgift eftersom nyttan av ytterligare applikationer beror på det. Det största problemet vi fann när vi definierade taggarna för baskiska var avsaknaden av en uttömmande sådan för automatisk användning. Dessutom saknade baskiska tryckta ordböcker också systematisering av kategorier. För den morfosyntaktiska behandlingen av baskiska texter är det märkningssystem vi utvecklade ett system med fyra nivåer, allt från den enklaste del av talmärkningsschemat till den fullständiga morfosyntaktiska informationen. I den första nivån, 20 allmänna kategorier ingår för lexical objekt (nomen, adjektiv, verb, pronomen, counting...). I den andra, varje kategori tagg förfinas ytterligare med underkategori taggar. Till exempel har kategorin "pronomen" 6 underkategorier: vanliga, eftertryckliga, interrogativa, obestämda, reflexiva och ömsesidiga. Den tredje nivån innehåller en del grundläggande morfosyntaktisk information såsom fall med deklination, antal etc. Denna morfologiska information bärs av de beroende morfemerna som är fästa vid stammen. Den fullständiga produktionen av morfosyntaktisk analys utgör den fjärde nivån av märkning. Den enda skillnaden med den tidigare nivån är att, här, all morfologisk information beaktas tillsammans med taggar för syntaktiska funktioner. Morfologi och syntax är nära besläktade i baskiska, så de flesta syntaktiska funktioner tillhandahålls av databasen, tillsammans med de inflexionala morfemerna. Till exempel, det ergativa fallet i baskiska markerar subjektet i en klausul (med transitiva verb) det absoluta fallet kan antingen ange subjektet eller den predikativa (med intransitiva verb) eller det direkta objektet. Specifikationen på denna nivå är mycket detaljerad och utgör indata för morfosyntaktisk disambigeringsprocess samt för syntaktisk och andra typer av språkbearbetning. Utöver dessa fyra nivåer läggs ytterligare taggar till för att markera verbkedjor, substantivfraser och postpositionella fraser (se avsnitt 4.3.1 och 4.3.2.) Numera är vi involverade i syntaktisk märkning av corpus, enligt det beroendestrukturbaserade systemet (se avsnitt 5). Omkring 31 syntaktiska taggar används för detta ändamål. En morfologisk analysator av ord är ett oumbärligt grundläggande verktyg när man definierar en allmän ram för automatisk bearbetning av agglutinativa språk som baskiska (Aduriz et al., 1998). Innan den morfologiska analysatorn MORFEUS färdigställdes var det dock nödvändigt att utforma taggarna (se avsnitt 2.2) och att utveckla en lexisk databas. Uppförandet av EPEC 5 et al., 2001) är en allmän lexisk databas som används i baskiska textbehandlingsverktyg. Detta stora förråd av lexikala kunskaper är grunden i många olika NLP-uppgifter, och ger lexikal information för flera språkverktyg inklusive, naturligtvis, den morfologiska analysatorn. För närvarande består det av nästan 80.000 poster uppdelade i (i) ordlista poster (samma du kan hitta i någon konventionell ordbok), (ii) böjda verb former, och (iii) beroende morfemer, alla av dem med sin respektive morfologiska information. EDBL, en lexisk databas för baskisk EDBL (Aldezabal MORFEUS är en robust morfologisk analysator för baskiska. Det är ett grundläggande verktyg för det nuvarande och framtida arbetet med NLP. Analysatorn bygger på den formalism på två nivåer som Koskenniemi föreslog (1983), som har varit allmänt accepterad på grund av dess allmänna tillämplighet, regeldeklareringsförmåga och tydlig åtskillnad mellan språkkunskaper och program. Analysatorns arkitektur definierades med hjälp av tre huvudmoduler: 1 Standardanalysatorn som använder en allmän lexikon och en användares lexikon. Denna modul kan analysera och generera vanliga språkordformer. I våra tillämpningar för baskiska definierade vi mer än 130 morfotaktiska mönster och två regelsystem i kaskad, den första för långdistansberoenden bland morfofoner och den andra för morfofonologiska förändringar. Dessa element sammanställs tillsammans i standardgivaren. 2 Analys och normalisering av språkliga varianter (dialektal användning och kompetensfel). På grund av icke-standard eller dialektisk användning av språket och kompetensfel, standard morfologi är inte tillräckligt för att ge goda resultat vid analys av verklig text corpora. Detta problem blir kritiskt på språk som baskiska där standardisering pågår och dialektiska former fortfarande används i stor utsträckning. För denna process utvidgas standardgivaren med nya lexiska poster och fonologiska regler som producerar den förbättrade givaren. 3 Gissaren eller analysatorn av ord utan lemmas i lexikonen. I detta fall, standardgivare förenklas ta bort lexical poster och tillåta analys av någon sträng. Standardgivaren ersätts därför av en allmän givare för att beskriva en kombination av tecken. Den morfologiska analysatorn ger som ett resultat alla möjliga analyser av varje token i texten. Den manuella disambigeringen av corpus utfördes på resultatet av MORFEUS. Således hela corpus var morfosyntactically analyseras ger till 6 Aduriz et al. varje ordform varje möjlig analys, utan att ta hänsyn till det sammanhang i vilket den framträdde. När varje ordform i corpus analyserades morfosintaktiskt, genomförde vi den manuella disambigeringsprocessen. Två lingvister markerade självständigt den korrekta syntaktiska taggen på varje ord i corpus, med den "dubbelblinda" metoden som beskrivs i Voutilainen & Järvinen (1995). Om ingen rätt tagg automatiskt hade tilldelats, de skrev det själva. Båda lingvisternas svar jämfördes och när det uppstod meningsskiljaktigheter kom de överens om en enda tagg. Denna manuellt disambiguated corpus användes både för att förbättra en Constraint Grammar disambiguator och för att utveckla en stokastisk tagger. Efter att corpus manuellt deambiguerats, började vi göra upp en grammatik av begränsningar regler som automatiskt skulle välja rätt syntaktiska taggar i någon riktig corpus. För detta ändamål valde vi Constraint Grammar (CG) formalism (Karlsson et al., 1995; Tapanainen & Voutilainen, 1994), som utformades för att vara ett språkoberoende och robust verktyg för att disambiguera och analysera obegränsade texter. CG grammatik uttalanden är nära till verkliga text meningar och direkt ta itu med några avgörande tolkningsproblem, särskilt tvetydighet. CG-systemets roll är att tillämpa en uppsättning språkliga begränsningar som gör att så många alternativ som möjligt kastas överbord, så att meningarna blir så oklara som möjligt. Varje regel som producerades för denna grammatik kontrollerades på den manuellt disambiguerade corpus för att testa dess godhet och förbättra den iterativt när det var nödvändigt. I de fall där analysatorn inte gav någon korrekt analys till en ordform i corpus bidrog lingvisterna dessutom i hög grad till förbättringen av den lexiska databasen och analysatorn själv. Dessutom utvecklade vi också en stokastisk tagger. Statistiska metoder kräver lite ansträngning och få mycket goda resultat (Church, 1998; Cutting et al., 1992), åtminstone när det tillämpas på engelska. I vårt fall valde vi TATOO tagger baserat på dolda Markov modeller (Armstrong et al., 1995). TATOO konstruerades för att appliceras på utmatningen från en morfologisk analysator och taggarna kan enkelt bytas ut utan att inmatningstexten ändras. Som baskiskt agglutinativt och friordnat språk visade sig dock den stokastiska taggern vara mycket mindre exakt än för engelska när den tränades direkt på utmatningen av den morfologiska analysatorn. Så, vi utförde en övervakad utbildning på utgången av CG grammatik. Eftersom CG disambiguator lämnar en relativt låg tvetydighet, resultaten av TATOO var mycket bättre. För närvarande använder vi en kombination av CG disambiguator med stokastisk tagger och vi får bra resultat (Ezeiza 2003). CG-disambiguatorn appliceras först och sedan de återstående tvetydigheterna löses med hjälp av resultaten av TATOO. Efter disambiguing morfologiska taggar i corpus, nästa steg var att tilldela motsvarande syntaktic tag till varje ord-form. Syntaktiska funktionstaggar Konstruktionen av EPEC 7 följer filosofin om Constraint Grammar (CG) formalism i den meningen att de är baserade på en funktionellt märkt beroendesyntax 1. Genom att anta CG-formalismen uttrycker vi ords syntaktiska funktioner och de ömsesidiga beroenden som finns mellan dem snarare än djupa strukturella förbindelser. Så de syntaktiska taggarna på denna nivå hänvisar till ytliga syntaktiska funktioner, dvs.. De kan ge information om verbkedjornas ytstruktur, substantivfraser eller postpositionella fraser. Därför resulterar detta i en ytlig tolkning av corpus. Som vi nämnde tidigare, de flesta syntaktiska funktioner läggs till ordformerna tillsammans med inflectional morphemes. Morfologiska suffix och syntaktiska funktioner är nära relaterade i baskiska och båda ingår i databasen. Den morfologiska analysatorns utdata visar således de flesta av dessa ytliga syntaktiska taggar. Vissa andra syntaktiska taggar som inte ärvs från databasen läggs dock till analysen genom CG-kartläggningsregler. Dessa funktioner är oftast knutna till delar av talet, och de är i allmänhet hänförda till ordformer under förutsättning att de uppfyller vissa givna kontextuella villkor. Främst är de syntaktiska funktionstaggarna uppdelade i tre grupper: huvudfunktioner (objekt, objekt, indirekt objekt...), modifiers (indikering av riktningen i förhållande till huvudet) och verbfunktioner (används för att upptäcka verbkedjor). Denna distinktion av syntaktiska funktioner är nödvändig för märkning av olika typer av fraser (se avsnitt 5). Den tvetydighet som hänger samman med den ytliga syntaktiska märkningen är över 22 %. 2, Det vill säga, för varje 100 ord-former 22 tilldelas mer än en syntaktisk tagg. När varje ordform i corpus gavs minst en syntaktisk tagg, genomförde vi den manuella disambigeringsprocessen igen. Metoden liknade den som användes för den morfologiska disambitionen i det föregående steget. Två lingvister markerade självständigt den korrekta syntaktiska taggen till varje ord i corpus eller, om ingen rätt tagg automatiskt hade tilldelats, de skrev det själva. Sedan kom båda lingvisterna överens om en enda tagg när det uppstod meningsskiljaktigheter. Efter att corpus manuellt deambiguerats, började vi göra upp en grammatik av begränsningar regler som automatiskt skulle välja rätt syntaktiska taggar i någon riktig corpus. Varje regel som producerades kontrollerades på den manuellt disambiguerade corpus för att testa dess godhet och förbättra den vid behov. Begreppet beroende-syntax har en lång tradition i grammatiska analyser sedan Greco-Roman-eran. Mer nyligen, inom tillämpningen av formalismer på syntaktikteorin, finner vi bland annat Tésniere (1959), Hays (1964) och Mel'cuk (1988), de som har återhämtat sig beroende-syntax i teoretiska termer. Denna tvetydighet beräknades med hänsyn till de syntaktiska funktionerna hos en delmängd på 200 vanliga ord. 8 Aduriz m.fl. I detta skede har vi corpus manuellt taggade med ytsyntaktiska taggar efter CG-syntaxen. Inga frasenheter är markerade ännu, även om de baseras på denna representation, är identifieringen av olika typer av frasenheter, såsom verbkedjor, substantivfraser och postpositionsfraser någorlunda okomplicerad. För att upptäcka verbkedjor använder vi verbfunktionstaggar (@+FAUXVERB, @-FAUXVERB, @+FMAINVERB, @-FMAINVERB3...) och vissa partiklar (negativa partiklar, modala partiklar...). Baserat på dessa element kan vi upptäcka inte bara kontinuerliga verbkedjor utan också spridda. För att markera kontinuerliga verbkedjor fästs följande taggar med hjälp av återigen CG-kartläggningsregler: • %VCH: denna tagg är fäst vid en verbkedja som består av ett enda element. • %VCHI: detta är fäst vid det ursprungliga elementet i en komplex verbkedja. • %VCHF: detta är fäst vid det sista elementet i en komplex verbkedja. De taggar som används för att markera de spridda verbkedjorna är: •%NCVCHI: denna tagg är fäst vid det ursprungliga elementet i en icke-kontinuerlig verbkedja. •%NCVCHC: denna tagg är fäst vid det andra elementet i en icke-kontinuerlig verbkedja. • %NCVCHF: denna tagg är fäst vid det sista elementet i en icke-kontinuerlig verbkedja. Vårt antagande är att ett ord som har en modifier funktionstag är kopplat till ett ord med en huvudsyntaktisk funktionstag. Dessutom kan ett ord med en huvudsyntaktisk funktionstag i sig självt utgöra en frasenhet. Med hänsyn till detta antagande etablerar vi tre taggar för att markera denna typ av frasenheter (nominella fraser eller postpositionella fraser): •%PHR: denna tagg är fäst vid ord med huvudsakliga syntaktiska funktionstaggar som utgör en frasenhet av sig själva. • %PHRI: denna tagg är fäst vid det ursprungliga elementet i en frasenhet. • %PHRF: denna tagg är fäst vid den sista delen av en frasenhet. För att fästa en av dessa taggar till varje ordform har vi samtidigt utvecklat två delgrammar som innehåller CG-kartläggningsregler. Den första delgrammet syftar till att avgränsa verbkedjor medan den andra markerar sub- och postpositionsfraser. Finita extra verb, icke-finita extra verb, ändligt huvudverb, icke-finita huvudverb... Konstruktionen av EPEC 9 För närvarande kontrollerar en lingvist de taggar som den första uppsättningen av kartregler markerade upp i corpus. Vid behov lägger hon till, tar bort eller ändrar taggarna automatiskt. När detta arbete är avslutat kommer den första uppsättningen kartregler som tagits fram att testas på corpus och resultaten kommer att användas för att förbättra reglerna iterativt samt för att utveckla nya. Nästa logiska steg i slutförandet av corpus är djup syntaxmärkning, för att bygga en trädbank (Aduriz et al., 2002.) Även om taggning manuellt en trädbank är en dyr och tidskrävande uppgift, är det också ett viktigt steg för utvecklingen av syntaktiska verktyg och tillämpningar för baskiska. En grupp lingvister i vår forskargrupp är för närvarande involverade i detta mödosamma arbete 4. Efter att ha övervägt ett antal olika val − Skut et al. (1997), Oflazer (1999)– Vi beslutade att följa ett beroendebaserat förfarande, eftersom det enligt vår mening var det som bäst kunde hantera den fria ordordning som visas av baskiska syntax. Den beroendebaserade analysen beskriver de relationer som finns mellan olika komponenter (dvs. ordformer). På detta sätt, för varje mening i corpus vi uttryckligen bestämma syntaktiska beroenden mellan huvuden och beroende. För att definiera det syntaktiska märkningssystemet antog vi det ramverk som presenterades i Carroll et al. (, 1999........................................................................................................... Genom att följa denna arbetslinje utvecklade vi ett kodningssystem baserat på hierarkier av grammatiska relationer (både för lexiska och tomma element, såsom pro) (se figur 2). Som det kan ses i figur 2, Hierarkin skiljer mellan flera allmänna nivåer, som ytterligare specificeras i efterföljande nivåer. På den allmänna nivån finner vi till exempel strukturellt fallmärkta komplement, tematiska roller (arg_mod), modifiatorer, assistenter och konjuktioner. I sin tur är strukturellt fallmärkta komplement, till exempel, indelade i substantivfraser och klausuler. Varje kontinuerlig gradering uppnår ytterligare specifikation genom att ta hänsyn till deras grammatiska funktion (t.ex. ncsubj, ncobj och nczobj). Därefter presenterar vi ett exempel som visar några av de grammatiska relationer som anges i hierarkin: ncsubj (Case, Head, Head of NP, the Case-marked elemente int NP, subj ) ncobj (Case, Head, Head of NP, the Case-marked elemente int NP, obj) nczobj 5 (Case, Head, Head of NP, the Case-marked elemente int NP, ind.obj) 4 I denna forskningslinje deltar vår grupp i projektet "The IXA group, verktyg för en automatisk behandling av baskiska: skapa en databas bestående av syntaktiska-semantiska träd" (Se "knowledgments") 5 nczobj skulle motsvara den engelska nciobj (non-clausal indirekt objekt). Aduriz m.fl. Dessa är exempel på strukturellt fallmärkta komplement när komplement är nc (non-clausal, Noun Phrases, hädanefter NP), som till exempel i meningen Aitak haurrari sagarra eman dio "Fader har gett ett äpple till barnet" (lit. "Fader till barn äpple ges har": ncsubj (erg, eman, aitak, aitak, subj) nczobj (dat, eman, haurrari, haurrari, ind.obj) ncobj (abs, eman, sagarra, sagarra, obj) Denna beskrivning är mycket viktig, eftersom den bestämmer antalet och typen av taggar som behövs för varje relation (antal slots, egenskaper för varje en, etc.). Denna formalisering kommer att vara mycket användbar för framtida behandlingar, till exempel för att få all denna information i XML-format (se avsnitt 7). Att ta tag i corpus manuellt har gjort det möjligt för oss att hitta en lösning på problem som uppstår i analysprocessen, såsom diskontinuerliga beståndsdelar, samordning eller komparativa klausuler. Dessutom är det inte ovanligt att liknande fenomen behandlas så tydligt av de olika lingvister som märker corpus. I dessa fall försöker gruppen lingvister enas om en enda analys som därefter kommer att anses vara korrekt. I takt med att märkningsprocessen fortsätter och vi hittar nya lösningar på problem som uppstår, kommer den gradvis att bli mer exakt, robust och snabb. Dessutom utvecklar vi för närvarande ett beräkningsverktyg som syftar till att göra manuell märkning enklare och snabbare. Allt detta arbete utförs inom ett projekt som syftar till att bygga trädbankar för katalanska, spanska och baskiska (Civin & Martí, 2002). När den manuella märkningen av corpus är klar planerar vi att utveckla ett verktyg baserat på språkkunskaper som automatiskt kommer att kunna tolka äkta corpora. Som i tidigare steg av manuell märkning, varje regel som produceras Konstruktionen av EPEC för tolken kommer att testas på manuellt märkta corpus för att bedöma det godhet och förbättra det i enlighet därmed. I framtiden planerar vi också att tillämpa maskininlärningsmetoder på corpus, för att utföra en automatisk märkning. Under de senaste tre åren har en stor insats gjorts i vår forskargrupp (Artola m.fl., 2002) för att integrera de NLP-verktyg för baskiska som beskrivs i tidigare avsnitt. På grund av komplexiteten i den information som ska utbytas bland verktygen, Feature Structures (FS) används för att representera den. Featurestrukturerna kodas efter TEI:s DTD för FS, och beskrivningarna av Feature Structure Definition (FSD) har noggrant definierats. De dokument som används som indata och utdata för de olika verktygen innehåller TEI-P4-konforma funktionsstrukturer (FS) kodade i XML. Användningen av XML för kodning av I/O strömmar som flyter mellan program tvingar oss att beskriva markeringen formellt, och tillhandahåller programvara för att kontrollera att dessa mark-up hålla invariantly i en kommenterad corpus. Vi skulle kunna analysera den ram för språklig kunskapsrepresentation och integration som utvecklats i vår grupp på djupet, men eftersom det inte är målet med detta dokument kommer vi bara att visa resultaten av verktygen i analyskedjan (figur 3). Olika representationer av meningen Noizean behin issaso aldetik Donostiako Ondarreta hondartzara enbata iristen da (En gång i tiden kommer en storm från öppet hav till Donostias strand i Ondarreta) kodad i XML visas i figur 3. Den lexikala information som samlas in i den lexiska databasen (EDBL), som ligger till grund för flera NLP-verktyg i vår forskargrupp, förnyas ständigt. Nya poster från olika källor läggs regelbundet till i databasen. Dessutom har nya verktyg såsom flerordsenheter, namngivna enheter eller postpositionsigenkänning utvecklats. Dessa förändringar måste återspeglas i corpus, så vi måste se över dem regelbundet. Därför har vi för avsikt att inom en nära framtid uppdatera EPEC med all denna information. Detta kommer att ske halvautomatiskt, så att endast den nya informationen behöver ses över.
3 Annoterad Corpus av baskiska EPEC (Referens Corpus för bearbetning av baskiska) REF ) är en 300 000 ord provsamling av standard skrivna baskiska som har kommenterats manuellt på olika nivåer (morfologi, ytsyntax, fraser, etc.)..............................................................................................
Methodology and steps towards the construction of EPEC , a corpus of written Basque tagged at morphological and syntactic levels for the automatic processing
{'venue': 'Corpus linguistics around the world', 'journal': 'Corpus linguistics around the world', 'mag_field_of_study': ['Computer Science']}