Abstract-Språk identifieringsteknik används i stor utsträckning inom områdena maskininlärning och textbrytning. Många forskare har uppnått utmärkta resultat på några utvalda europeiska språk. De flesta afrikanska och asiatiska språk är dock fortfarande oprövade. Huvudsyftet med denna forskning är att utvärdera prestandan hos vår nya n-grambaserade språkidentifieringsalgoritm på 68 skrivna språk som används i de europeiska, afrikanska och asiatiska regionerna. Det sekundära målet är att utvärdera hur n-grambeställningar och en mix n-grammodell påverkar språkidentifieringens relativa prestanda och noggrannhet. Den n-grambaserade algoritmen som används i detta dokument beror inte på n-gramfrekvensen. Istället är algoritmen baserad på en boolesk metod för att bestämma resultatet av matchande mål n-gram till utbildning n-gram. Algoritmen är utformad för att automatiskt upptäcka språket, skriptet och teckenkodningsschemat för en skriven text. Det är viktigt att identifiera dessa tre egenskaper på grund av att ett språk kan skrivas i olika typer av skript och kodas med olika typer av teckenkodningsscheman. De experimentella resultaten visar att algoritmen i ett test uppnådde upp till 99,59% korrekt identifieringsfrekvens på utvalda språk. Resultaten visar också att språkidentifieringen kan förbättras genom att använda en mix n-gram-modell av bigram och trigram. Modellen mix n-gram förbrukar mindre diskutrymme och datortid, jämfört med en trigrammodell.
REF presenterade en n-grambaserad algoritm med hjälp av en boolesk metod för att bestämma utgången av matchande mål n-gram till utbildning n-gram.
Optimizing n‑gram Order of an n‑gram Based Language Identification Algorithm for 68 Written Languages
{'venue': None, 'journal': 'International Journal on Advances in Ict for Emerging Regions (icter)', 'mag_field_of_study': ['Computer Science']}