b'\n_START_ARTICLE_\nIdentifikacija jezika\n_START_PARAGRAPH_\nPrepoznavanje ali identifikacija jezika je proces dolo\xc4\x8danja naravnega jezika neke dane vsebine. V\xc4\x8dasih se je prepoznavanje zapisanega jezika - kot npr. v bibliotekarstvu - opiralo na ro\xc4\x8dno prepoznavanje pogostih besed in \xc4\x8drk, zna\xc4\x8dilnih za dolo\xc4\x8dene jezike. V zadnjem \xc4\x8dasu so se tega problema lotili tudi z ra\xc4\x8dunalni\xc5\xa1kim pristopom, pri \xc4\x8demer prepoznavanje jezika obravnavajo kot vrsto kategorizacije besedila. Gre za pristop obdelave naravnega jezika (Natural Language Processing), ki temelji na statisti\xc4\x8dnih metodah.\n_START_SECTION_\nNera\xc4\x8dunalni\xc5\xa1ki pristopi\n_START_PARAGRAPH_\nV bibliotekarstvu je prepoznavanje jezika pomembno za kategorizacijo gradiva. Knji\xc5\xbeni\xc4\x8darji morajo pogosto kategorizirati gradiva v njim neznanih jezikih, zato se pogosto opirajo na tabele pogostih besed in zna\xc4\x8dilnih \xc4\x8drk oz. znakov, ki jim pomagajo dolo\xc4\x8diti jezik. \xc4\x8ceprav s prepoznavo ene same besede ni vedno mogo\xc4\x8de razlo\xc4\x8diti dveh jezikov s podobnim pravopisom, pa je prepoznava ve\xc4\x8d besed zelo zanesljiva.\n_START_SECTION_\nStatisti\xc4\x8dni pristopi\n_START_PARAGRAPH_\nTo lahko storimo s primerjavo stisljivosti besedila s stisljivostjo besedila v poznanih jezikih. Ta pristop imenujemo meritev razdalje, ki temelji na vzajemnih informacijah. Enako tehniko lahko uporabimo za empiri\xc4\x8dno konstrukcijo dru\xc5\xbeinskih dreves jezikov, ki se precej ujemajo z drevesi, ki so zgrajena na podlagi histori\xc4\x8dnih metod._NEWLINE_\xc5\xa0e ena tehnika, ki jo je opisal Dunning (1994), pa je, da ustvarimo n-gram preu\xc4\x8devanega besedila (tj. nekak\xc5\xa1en verjetnostni vzorec, ki pove, kak\xc5\xa1na je verjetnost, da bo v nekem zaporedju ena beseda sledila drugi) in ga primerjamo z modeli \xc5\xbee znanih jezikov. Jezik tistega modela, ki najmanj odstopa, je verjetno tudi jezik preu\xc4\x8devanega besedila.'