: Tviterasi, tviteraši eller twitteraši? Producera och analysera en normaliserad datauppsättning av kroatiska och serbiska tweets. Slovenščina 2.0, 4 (2): 156-188. DOI: http://dx.doi.org/10.4312/slo2.0.2016.2.156-188. I detta dokument diskuterar vi parallell manuell normalisering av prover från kroatiska och serbiska Twitter corpora. Vi beskriver datauppsättningarna, beskriver de enhetliga riktlinjer som lämnas till notatorer och presenterar en serie analyser av standard-till-standard transformationer som finns i Twitter-data. Resultaten visar att slutna del-av-tal klasser omvandlas oftare än de öppna klasserna, att de oftast omvandlade lemmas är hjälp-och modal verb, interjections, partiklar och pronomen, att tecken radering är vanligare än tillägg och ersättningar, och att fler omvandlingar sker i ordet slut än i andra positioner. Kroatiska och serbiska har visat sig dela många, men inte alla omvandlingsmönster, medan vissa av skillnaderna kan tillskrivas de strukturella skillnaderna mellan de två språken, andra verkar bättre förklaras genom att titta på extralinguistiska faktorer. De producerade dataseten och deras inledande analyser kan användas för att studera egenskaper hos icke-standardspråk, samt för att utveckla språkteknik för icke-standarddata. Nyckelord: datormedierad kommunikation, CMC corpora, Twitter, normalisering Slovenščina 2.0, 2 (2016) [157] Normalisering har oftast tillämpats på engelska, med vissa arbeten också tillgängliga t.ex. för tyska (Sidarenka et al. 2013), spanska (Oliva et al. 2013), och Slovene (Ljubešić et al. 2014a; Ljubešić et al. Europaparlamentets och rådets förordning (EU, Euratom) nr 966/2012 av den 25 oktober 2012 om finansiella regler för unionens allmänna budget och om upphävande av rådets förordning (EG, Euratom) nr 1605/2002 (EUT L 298, 26.10.2012, s. 1). Slovenščina 2.0, 2 (2016) [158] I detta dokument använder vi oss av en normaliseringsbaserad metod med fokus på Twittermeddelanden (tweets) skrivna på kroatiska och serbiska. Som en av de mest använda CMC-plattformarna har Twitter redan fått mycket uppmärksamhet i NLP. Antalet tweets som publiceras per dag räknas i hundratals miljoner (Benhardus, Kalita 2013), och innehållet sträcker sig från nyhetssändningar och officiella meddelanden från företag och institutioner till personliga tankar och åsikter användarna delar, vilket gör Twitter en rik källa till data för NLP uppgifter relaterade till textbrytning. För att dessa uppgifter ska kunna utföras är automatisk bearbetning på lägre nivå ett måste, vilket i sin tur innebär att problemet med bristande standarditet måste lösas. I det specifika fallet med Twitter är en ytterligare komponent som påverkar de strukturella egenskaperna hos dess språk att meddelanden begränsas av längden begränsning av 140 tecken. Med tanke på den senaste tidens tillgång till grundläggande språkverktyg för standard kroatiska och serbiska ansågs ett normaliseringsbaserat tillvägagångssätt vara mer kostnadseffektivt än en anpassning av standardspråkverktyg. Dessutom ger normalisering forskare enkel tillgång till avböjningar från standardspråk som förekommer i icke-standard ett. Exempel på tweets som innehåller icke-standardfunktioner på kroatiska och serbiska visas i tabell 1. Dessa funktioner inkluderar fenomen som är typiska för CMC i allmänhet, såsom fonetisk stavning av främmande ord (t.ex. Fešn för mode), förkortningar (t.ex. zg för Zagreb), @ namn nämner och smilisar, men också fenomen typiska för Twitter som hashtags och vissa termer (t.ex. fave), liksom vissa språkspecifika särdrag, såsom utelämnande av diakritiker (som förekommer i både kroatiska och serbiska, t.ex. kauc för kauč - couch), och användning av helt språkspecifika dialektiska och colloquial icke-standard former (t.ex. Den ikaviska dialektiska formen isprid för ispred - framför på kroatiska). Med det framtida målet att utveckla verktyg för automatisk normalisering av CMC normaliserade vi manuellt ett prov på 4000 tweets per språk. I resten Slovenščina 2.0, 2 (2016) [160] av papperet beskriver vi först de corpus tweets proverna från och proverna själva, går vidare till förfarandet och de enhetliga kroatiska och serbiska riktlinjer som används i manuell normalisering. Därefter presenterar vi flera inledande analyser baserade på normaliseringsresultaten; analyserna gjordes med utgångspunkt från de normaliserade formerna och med utgångspunkt i de former som finns i Twitter-dataseten. Speciellt tittar vi på fördelningen av standard -> icke-standard transformationer över delar av tal och lemmas, liksom fördelningen av transformationssubtyper (delements vs. tillägg vs. ersättare), och vi jämför kroatiska och serbiska. Eftersom det finns mycket lite relaterat tidigare arbete för dessa språk, är våra huvudmål att ge en översikt över de viktigaste trenderna, och att jämföra dessa trender på de två språken, underlätta utformningen av framtida specifika språkliga hypoteser. De corpus vi använder består av kroatiska och serbiska tweets skördas med
Till exempel är morfosyntaktisk tagger och lemmatizer för Torlak en anpassning av taggern för standard Serbiska REF ).
Tviterasi, tviteraši or twitteraši? Producing and analysing a normalised dataset of Croatian and Serbian tweets
{'venue': 'Slovenščina 2.0: empirical, applied and interdisciplinary research', 'journal': 'Slovenščina 2.0: empirical, applied and interdisciplinary research', 'mag_field_of_study': ['Computer Science']}