I denna artikel undersöks a) om registerdiskriminering med framgång kan utnyttja språklig information som återspeglar utvecklingen av ett språk (såsom diglossiafenomenet i det moderna grekiska språket) och b) vilken typ av språklig information och vilka statistiska metoder som kan användas för att skilja mellan olika stilar inom ett register. Med hjälp av klusterteknik och funktioner som speglar diglossiafenomenet har vi framgångsrikt diskriminerat registren i Modemgrekiska. Uppgifter om diglossia har dock inte visat sig vara tillräckliga för att skilja mellan olika stilar inom ett och samma register. I stället måste ett stort antal språkliga särdrag studeras med metoder som diskriminant analys för att uppnå en hög grad av diskrimineringsnoggrannhet. Identifieringen av den språkstil som kännetecknar de ingående delarna av en corpus är mycket viktig för flera tillämpningar. Till exempel, i applikationer för informationssökning, där stora textkorpora måste sökas effektivt, är det bra att ha information om den språkstil som används i varje text, för att förbättra riktigheten i sökningen (Karlgren, 1999). I själva verket kan kriterierna för språkstil skilja sig åt för varje sökning och därför -på grund av det stora antalet texter - finns det ett krav på att utföra stilkategorisering på ett automatiserat sätt. Sådana system använder vanligtvis statistiska metoder för att utvärdera egenskaperna hos givna texter. De studerade egenskapernas komplexitet varierar. Kilgarriff (1996) använder främst ordfrekvensen medan Karlgren (1999) använder statistiska metoder främst på struktur- och deltalinformation. Baayen m.fl. (1996), som studerar ämnet identifikation av upphovsmän, tillämpar statistiska åtgärder och metoder för syntaktisk omskrivning av regler som uppstår genom bearbetning av en viss uppsättning texter. De uppger att den noggrannhet som erhålls på detta sätt är högre än vid tillämpning av samma statistiska åtgärder på den ursprungliga texten. Däremot använder Biber (1995) multidimensionell analys tillsammans med ett stort antal språkliga kännetecken för att skilja mellan register. Den bakomliggande tanken är att register, i stället för att särskiljas på grundval av en uppsättning finguistiska drag, skiljer sig åt på grundval av kombinationer av viktade språkliga särdrag, de så kallade "dimensionerna". Den här artikeln handlar om diskriminering av texter på skrivna modemgrekiska. Den pågående forskningen som beskrivs här har följt två olika riktningar. För det första har vi försökt skilja mellan register över skrivna moderna grekiska. I en andra fas har vår forskning inriktats på att skilja mellan enskilda stilar inom ett register och, mer specifikt, bland talare i det grekiska parlamentet. För att uppnå detta används strukturell, morfologisk och del-i-tal-information. Inledningsvis (i avsnitt 2) läggs tonvikten på att skilja mellan de olika register som används. I avsnitt 3 testas uppgiften att identifiera upphovsmän med utvalda statistiska metoder. I båda avsnitten beskriver vi den uppsättning språkliga egenskaper som mäts, vi argumenterar för den statistiska metod som används och vi kommenterar resultaten. Avsnitt 4 innehåller en beskrivning av framtida planer för förlängning av detta forskningsanslag, medan slutsatserna i avsnitt 5 i denna artikel ges. För att skilja mellan register, vi framgångsrikt utnyttjat en särskild egenskap i Modem grekiska, De variabler som används för att skilja mellan register kan grupperas i följande kategorier: 1. Morfologiska variabler: Dessa var verbala slut som kvantifierade kontrasten Kathareveusa / Demofiki. Även om de morfologiska skillnaderna mellan dessa två varianter av grekiska inte är begränsade till verbparadigmet, fokuserade vi på det senare eftersom det bättre belyser den kontrast som övervägs (Tainbouratzis m.fl., 2000). Totalt 230 verbala slut valdes ut, uppdelade i 145 Demotiki och 85 Kathareveusa-slut (se även bilagan). Dessa 230 frekvensfrekvenser grupperades i 12 variabler för användning i den statistiska analysen. Vissa negation partiklar (ovd~ei¢, otu~rere, oo~o4zo6, torktumlare) Dessa variabler är mer lik de egenskaper som används av Karlgren (1999), och skiljer sig avsevärt från dem som används av Kilgarriff (1996) och Baayen et al. (1996)........................................................................................................... För mätvärdena för de första och thkd-kategorierna användes ett specialbyggt program som kördes under Linux. Detta program beräknade alla strukturella och morfologiska mått för varje text i ett enda pass och resultaten bearbetades med hjälp av ett kalkylblad paket. Mätvärdena för den andra kategorin beräknades med hjälp av ett skräddarsytt program i C programmeringsspråket. PoS räkningar erhölls med hjälp av ILSP tagger (Papageorgiou et al., 2000) tillsammans med ett antal specialbyggda program för att bestämma de faktiska frekvenserna-av-förekomst från de taggade texterna. Slutligen användes STATGRAPHICS-paketet för den statistiska analysen. Det valda datasetet bestod av exempel från tre register: (i) fiktion (364 Kwords -24 texter), (ii) texter av akademisk prosa som hänvisar till historiska frågor, även kallad historieregistret (361 Kwords -32 texter) och (iii) politiska tal som erhållits från de grekiska parlamentssammanträdena, även kallade parlamentsregistret (509 Kwords -12 texter). Texterna till registren (I) och (II) hämtades från ILSP corpus (Gavrilidou m.fl., 1998), alla från perioden 1991-1999. Registertexterna (III) var avskrifter från de grekiska parlamentssammanträden som hölls under första halvåret 1999. Denna datauppsättning har bearbetats med hjälp av både sådd och ofröad klusterteknik med mellan 3 och 6 kluster. Det osådda tillvägagångssättet bekräftade förekomsten av skilda naturliga klasser, som motsvarar de tre registren. Det sådda tillvägagångssättet bekräftade förmågan att exakt separera dessa tre register och att samla ihop sina element. Inledningsvis användes en "kort" datavektor som endast innehöll de 12 morfologiska variabler som kvantifierade Demofiki/Katharevousa-kontrast (Tambouratzis et al. 2000), samt en 16-element vektor som kombinerar strukturella och morfologiska egenskaper. Fröna till Parliarant- och historieregistren valdes slumpmässigt. Fröna till Fiction-registret valdes så att åtminstone ett av dem inte skulle vara 36 "ytterligare" i Fiction-registret. Representativa resultat visas i tabell 1 Vektorstorleken förstärktes med PoS-information, vilket resulterade i en 27-element datavektor. En ny uppsättning klusterförsök utfördes med Wards metod med det fyrkantiga Euclideanavståndet för att samla data på ett oseglat sätt. Slutligen användes en 15-element data vektor med PoS och strukturell information men utan någon morfologisk information. De resultat som erhållits (tabell 2) visar att PoS-information förbättrar klusterprestandan. Våra resultat tyder starkt på att register över skrivna Modem grekiska kan diskrimineras korrekt på grundval av kontrasten Katharevousa / Demotiki manifesteras med morfologisk variation. Språk med en annan historia kanske inte lämpar sig för en sådan kategoriseringsmetod. Detta framgår tydligt av Bibers arbete (1995) för det engelska språket, där en mängd olika grammatiska och makrostrukturella språkliga särdrag men inga morfologiska variationer användes. Det verkar då som om korpora av språk som kännetecknas av fenomenet diglossia, kan framgångsrikt kategoriseras på grundval av morfologisk information (eller andra reflexer av diglossia). En sådan diskrimineringsmetod kan ge så tillfredsställande resultat som tillvägagångssätt som ligger närmare andan i Biber (1995) och som bygger på PoS och strukturella åtgärder (se tabellerna 1 och 2). Tabellerna 1 och 2 visar att noggrannheten i klungan når ungefär 99 % medan den sådda klungan hade en hög grad av noggrannhet och nådde 100 % vid användning av 5 klungor. För den 27-element vektor med både morfologisk och PoS information, har perfekt klusterering uppnåtts även med 4 kluster. Å andra sidan uppnås en framgångsrik klusterbildning (om än med lägre noggrannhet) endast med hjälp av strukturell och PoS-information. Det bör noteras att de lexiska variabler som användes, det vill säga negationspartiklarna, inte bidrog alls (Markantonatou et al., 2000). Dessutom utförde systemet nästan lika bra med och utan makrostrukturfunktioner, skillnaden i noggrannhet är mindre än 5 %. Parlamentets texter kan hävdas utgöra ett register vars mönster är nära placerade i mönsterutrymmet. Av de tre registren visade litteraturen en högsta grad av varians, med mer än en del-kluster existerande såväl som outlier element. Detta kan förklaras av det faktum att parlamentets överläggningar, tvärtemot litteraturen, genomgår intensiv redigering av en liten grupp specialiserade offentliga tjänstemän. I detta avsnitt rapporterar vi om våra ansträngningar att skilja mellan individuella stilar inom ett register. Framför allt har vi för avsikt att skilja mellan parlamentets talare genom att studera utskrifterna av de fem parlamentsledamöternas anföranden under perioden 1997-2000. Var och en av dessa talare tillhör ett av de fem politiska partier som var representerade i det grekiska parlamentet under denna period. Hittills har försöken begränsats till perioden 1999-2000. Antalet variabler (46 totalt) som beräknats för var och en av de fem talarna kan grupperas enligt följande:.  • Negationspartiklar (623, &v,/aft). • Negativa ord av Katharevousa (ovJei¢, ~iveo). • Andra ord som också uttrycker kontrasten Katharevousa / Demotiki (de anaforiska pronomenen "o~oio¢" (Kath) och "taro" (Dem)), som för närvarande resulterar i en enda variabel. och ordlängd, antal kommatecken, frågetecken, bindestreck och parenteser, vilket resulterar i totalt 6 variabler. • Del av talräkning (10 variabler). • Användning av grammatiska kategorier som genitivt fall med substantiv och adjektiv (2 variabler). Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Det år då talet framfördes i parlamentet och talets ordning i det dagliga schemat, det är om det var talarens första tal som leran (nedan kallad "protoloyia") eller det andra, tredje osv. (vilket resulterar i totalt 2 variabler). 6. Vad är det som händer? Talarens identitet, betecknad som högtalarens Signatur (1 variabel), som användes för att bestämma den önskade klassificeringen. På samma sätt som klusterförsöken användes en uppsättning C-program för att automatiskt extrahera värdena för de ovannämnda variablerna från utskrifterna. De flesta av dessa program förlitar sig på att mäta förekomsten av di-gram% och mer allmänt n-gram, för bokstäver, ord och taggar, vilket är rakt framåt. I fallet med högtalaridentifiering, Diskriminant Analys användes, eftersom klustermetoden gav inte mycket bra resultat, vilket tyder på att distinktionen mellan personliga stilar är svagare än den bland register. Till och med när endast 2 högtalare användes ingick mönster från båda talarklasserna i klustren. Vi experimenterade med två corpora, Corpus I och Corpus 11, som beskrivs i tabell 3. Corpus H är en undergrupp av Corpus I. Var och en av de tal som ingår i Corpus II hölls som öppningstal Cprotoloyia") vid ett parlamentssammanträde när minst två av de studerade talarna höll tal. En viktig fråga är om de valda variablerna är starkt korrelerade. Om det verkligen finns starka korrelationer, kan dessa användas för att minska mönsterutrymmets dimensionalitet. I denna analys användes de 46 oberoende variablerna (45 när det gäller Corpus II där det endast finns "protoioyiai", eftersom ordervariabeln då hela tiden är lika med 1). Antalet korrelationer mellan alla variabla par som överskrider givna tröskelvärden visas i figur 1, för både Corpus I och Corpus 11. Enligt denna studie är andelen variabla par med ett absolut korrelationsvärde som överstiger 0,5 i Corpus IL cirka 3%, vilket tyder på en låg korrelation mellan parametrarna. Dessutom har endast en enda av 990 par Corpus 11, en korrelation som överstiger 0,8. Jämförelserna för samma parameterpar över de två korpora är likartade, men som regel är korrelationen för Corpus I mindre än för Corpus 11, vilket återspeglar den större variabiliteten i texter i Corpus I. Korrelationsstudien visade att de flesta av parametrarna inte är starkt korrelerade. Ett faktoranalyssteg är därför inte nödvändigt och tillämpningen av den avvikande analysen direkt på de ursprungliga variablerna är motiverad. Inledningsvis behandlades Corpus I (se tabell 3). De 46 ovannämnda variablerna användes för att generera diskriminanta funktioner som exakt kände igen talarens identitet. I detta syfte användes tre olika metoder: i) den fullständiga modellen: alla variabler användes för att bestämma de diskriminerande funktionerna, ii) den framåtvända modellen: från och med en tom modell infördes variabler för att skapa en reducerad modell, med ett litet antal variabler, iii) den bakåtvända modellen: från och med den fullständiga modellen eliminerades variablerna för att skapa en reducerad modell. I de framåt- och bakåtvända modellerna var värdena för F-parametern att både mata in och ta bort en variabel satt till 4 medan det maximala antalet steg för att generera modellen var satt till 50. Prestandan av denna modell förbättras om: I. den ordning i vilken varje enskilt tal hölls beaktas: undergruppen av "protoloyiai" är väldefinierad och presenterar en låg varians medan tal av andra eller lägre ordning har en högre varians. 2. Corpus består endast av sessioner där mer än en talare har hållit anföranden. Den mer balanserade korpus II (tabell 3) ger således bättre resultat i fråga om diskriminering. För dessa två corpora visas resultaten av diseriminantanalysen i tabell 4. Diskrimineringsgraden för Corpus II är mycket högre än för Corpus I. Dessutom kan mindre modeller, med 8 variabler, skapas som korrekt klassificerar minst 75% av Corpus II. Ett exempel på de faktorer som genereras och det sätt på vilket de separerar mönsterutrymmet visas i diagrammen i figur 2.  Även om denna forskning fortsätter, kan vissa fakta rapporteras med tillförsikt. I det grekiska parlamentets förfaranderegister kan enskilda stilar inte klassificeras på grundval av morfologiska drag som uttrycker kontrasten Kathareveusa/Demotiki. Detta kan förklaras av att dessa texter genomgår intensiv redigering mot ett väletablerat underspråk. Denna redigering homogeniserar texternas morfologiska profil, men går naturligtvis inte så långt som att homogenisera de olika talarnas lexiska preferenser. I motsats till de registerklustrande experimenten verkar därför lexiska variabler som uttrycker den särskilda kontrasten spela en roll när det gäller att skilja mellan talarna och varför användningen av Katharouusa-präglade negativa partiklar, som inte var viktiga för registerdiskrimineringen, verkar ha en viss betydelse för stildiskrimineringen. Observationen att negativa ord spelar en roll i stilidentifieringen stämmer överens med Labb6:s kommentarer om det franska politiska talet (1983). Strukturella egenskaper har visat sig vara viktiga: den genomsnittliga ordlängden, användningen av interpunktion och frågetecken och användningen av vissa delar av tal som artiklar, associationer, adjungeringar och -especiaUyverbs. Dessutom verkar fördelningen av verb till personer och tal vara viktig, även om de exakta variabler som väljs skiljer sig åt beroende på den exakta uppsättning tal som används (dessa variabler kompletterar naturligtvis). En av de mest intressanta resultaten av denna forskning är att det är viktigt om talaren levererar en "protoloyia" eller inte. "Protoloyiai" kan klassificeras med 95% medan blandade leveranser resulterar i en lägre skattesats, så lågt som 75%. Detta kan bero på två faktorer: 1. "Protoloyiai" representerar längre textsträckor, som är mer karakteristiska för en viss talare. 2. Utgångspunkten är följande: Talarna förbereder sig minutiöst för sin "protoloyiai" medan deras övriga leveranser representerar en mer spontan typ av tal, som tenderar att innehålla mönster som delas av alla parlamentsledamöterna. Slutligen dyker vissa ytterligare mönster upp för var och en av talarna. Vissa talare (t.ex. Talaren A) är mer konsekvent erkänd än andra (t.ex. högtalare B) medan högtalare B liknar högtalare C och högtalare D liknar högtalare E. Detta indikerar att ytterligare variabler kan krävas för att förbättra klassificeringsnoggrannheten för alla högtalare.  I nästa steg ska användningsfrekvensen för vissa lemmata imroduceras, eftersom okulärbesiktning visar att de kan ge goda diskriminerande egenskaper. Vi planerar också att ersätta genomsnittliga längder (av både ord och meningar) med fördelningen av längder. Dessutom har vi för avsikt att införa vissa strukturella mått såsom upprepning av strukturer, kedjor av nominella värden och förekomsten av negation inom NP-frasal eousdments. En annan möjlig utvidgning innebär att talämnet tas med. Eftersom vissa talares egenskaper tycks förändras genom tiden planerar vi att behandla alla inlägg för målperioden 1997/2000. Slutligen är en viktig fråga att jämföra resultaten från våra experiment med dessa som genereras av alternativa tekniker som föreslagits av andra forskare. Detta kommer att göra det möjligt att dra mer exakta slutsatser om forskningsstrategiernas starka och svaga sidor. I denna artikel har pågående forskning om register och individuell stil eategorisering av skrivna Modem grekiska rapporterats. Ett system har föreslagits för automatisk registerkategorisering av korpora i Modemgrekiska utnyttjar språkets mycket böjliga karaktär. Resultaten har erhållits med en relativt begränsad uppsättning register, men deras igenkänningsnoggrannhet är anmärkningsvärt hög och överstiger 98 % med en oseed clustering metod som använder mellan 3 och 6 kluster. När det gäller kategorisering av enskilda stilar uppnåddes en diskrimineringsgrad på över 80 procent för fem talare i det grekiska parlamentets register. Morfologiska variabler visade sig vara av mindre betydelse för denna uppgift, medan lexiala och straeturala variabler verkade ta över. Vi planerar att införa flera nya lexikala och strukturella variabler för att uppnå bättre diskrimineringsgrad och för att fastställa diskriminerande egenskaper hos de olika stilarna. 40 Försäkringstekniska avsättningar för livförsäkringar, livförsäkringar, livförsäkringar, livförsäkringar, livförsäkringar, livförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkringar, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, olycksfallsförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring, sjukförsäkring
När det gäller automatisk insamling corpora som har en önskad stil, Tambouratzis et al. föreslog en metod för att dela upp moderna grekiska corpus i Demokrati och Katharevoua, som är varianter av moderna grekiska REF.
Discriminating The Registers And Styles In The Modern Greek Language
{'venue': 'Workshop On Comparing Corpora', 'journal': None, 'mag_field_of_study': ['Computer Science']}