Zeki doküman dili sınıflandırma ve web tabanlı çeviri sistemi
Download "Zeki doküman dili sınıflandırma ve web tabanlı çeviri sistemi"
1 329 Zeki doküman dili sınıflandırma ve web tabanlı çeviri sistemi Uraz YAVANOĞLU ve Şeref SAĞIROĞLU Gazi Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Maltepe, Ankara ÖZET Kelimeler: Dil tanıma, dil dönüştürme, web tabanlı uygulama, yapay sinir ağı İletişim teknolojilerinin gelişmesine paralel olarak küresel boyutta bilginin erişimi, paylaşılması, farklı dillere çevrilmesi ve bireylerin ihtiyaçlarına uygun kullanılmasının sağlanması maksadıyla içerik dilinin bilinmesi veya internet ortamında yayınlanan kaynakların dillerinin bulunması ve bir dile çevirisinin yapılması büyük önem arz etmektedir. Bu çalışmada web tabanlı olarak geliştirilen bir yazılım platformu sayesinde, içerik dili bilinmeyen Word, PDF ve HTML dokümanlarının dil içerikleri 15 farklı dil için zeki bir sistem tarafından sınıflandırılarak otomatik olarak algılanmakta ve dil çevirisi mevcut çözümler kullanılarak 64 dile otomatik olarak yapılmaktadır. Tanİmlama işlemi için, yapay sinir ağları temelli yeni bir dil tanıma yöntemleri kullanılarak bu işlemler gerçekleştirilmektedir. Geliştirilen yöntem iki farklı yaklaşım ile karşılaştırılmış, dokümanların büyüklüğüne veya içeriğin niteliğine bağlı olmadan 15 farklı dilde bulunan 3 farklı doküman tipi için yüksek bir başarım göstermiştir. Intelligent document language classification and web based translation system ABSTRACT Key Words: Language identification, language translation, web based application, artificial neural network Recent developments on information and communications technologies help globally and important to access, share, translate and the documents use easily and effectively via internet media. Language identification is an important task for web information retrieval services. Automatic language identification and translation have become increasingly important, as more and more documents are being served on internet within many languages. This study presents new methods to identify web contents, containing MS Word, PDF and HTML documents in different languages and to translate them into specified languages. The identification problem can be seen as a specific instance of the more general problem of an item classification through its attributes in a limited workspace. This novel approach is based on artificial neural network model to recognize the languages. Documents content belonging to 15 languages were used in test with a new testing methodology and translating them into 64 languages automatically for language processing. The results have shown that the approaches presented in this work are very successful to meet the expectations in real-time language identification and translation accuracy and reduce the number of letters in solution space in comparison with the available two methods. *Sorumlu Yazar (Corresponding author) e-posta:
2 1. Giriş 330 İnternet teknolojileri ve uygulamaları kullanırken, bir sayısal belgenin dilini tanımak pek çok açıdan yararlıdır. Dil tanıyıcı (DT), özellikle kelime işleme yazılımında, tüm dokümanın ya da farklı dillerden oluşan bölümlerin dillerini otomatik tanımada kullanılabilir. İnternette, dönüştürme işlemi için Microsoft, Altavista, Systran, Babylon ve Google gibi firmaların dil dönüştürme çözümleri sunulmaktadır. Bu çözümlerden hızlı bir büyüme süreci içinde olan Google firması tarafından geliştirilen Google Translator sistemi en kapsamlı çeviri çözümüdür. Bu çeviri sistemi sayesinde 64 farklı dili farklı dillere dönüştürebilme desteği vermektedir . Google tarafından geliştirilen yöntem bugüne kadar kullanılan metin bilgisinden dilbilgisi öğeleri elde ederek çevirme yaklaşımını kullanmamaktadır. Google tarafından geliştirilen yöntem sayesinde bir veritabanı diller arasında önceden yapılmış ve halen yapılmakta olan birebir çevirileri cümle yapısıyla saklamaktadır. Google Translator tarafından alınan bir giriş o girişe karşılık gelen veya en çok yakınsayan kelimelere doğrudan dönüştürülmektedir. Bu çalışmada, Almanca, Arnavutça, Fransİzca, Galce, Hİrvatça, İngilizce, İrlandaca, İspanyolca, İtalyanca, Letonca, Macarca, Maltaca, Portekizce, Türkçe, Vietnamca dilleri dikkate alınarak önerilen birleşim ve kesişim yöntemleriyle WORD, PDF ve HTML dokümanları dikkate alınarak dokümanların içerik dilinin otomatik olarak algılanması ve istenilen dile dönüştürülmesi için bir sistem geliştirilmiştir. Bu çalışmanın internetin daha verimli kullanılmasına, farklı dil ve kültürlerde yapılan çalışmaların kolaylıkla okunup öğrenilmesine katkılar sağlayacağı, internette karşılaşılan pek çok problemin çözümüne katkılar sağlayacağı değerlendirilmektedir. Geliştirilen zeki dil tanıma sistemi aşamaları takip eden bölümlerde açıklanmıştır. Bölüm 2 de literatürde mevcut olan dil tanıma sistemleri detaylı olarak sunulmuştur. Bölüm 3 de bu çalışmada kullanılan zeki sistem altyapısını oluşturan yapay sinir ağlarına ait genel bilgiler verilmiş ve kullanılan öğrenme algoritması kısaca açıklanmıştır. Bölüm 4 de önerilen yöntemler ve geliştirilen sistem altyapısı anlatılmıştır. Bölüm 5 de ise bu çalışmada elde edilen sonuçlar sunulmuş ve gelecek çalışmalara yön verecek önerilere yer verilmiştir. 2. Dil tanıma sistemleri Literatürde pek çok dil tanıma metotları bulunmaktadır [1 19, 24-27]. Bu metotlar incelendiğinde, n-gram veya Bayes teoreminin kullanılması gibi istatistiksel metotların sıklıkla kullanıldığı fakat bu metotların ön işlem gibi performans kaybına neden olan süreçler içermesinden dolayı beklenen performansı veremedikleri görüldüğünden yeni metotların araştırılması ve geliştirilmesi gündemde olan bir husustur. Geliştirilen metotların kullanıldığı ve karşılaştırıldığı çalışmalar aşağıda kısaca özetlenmiştir. Padro ve Padro tarafından 2004 yılında yapılan çalışmada , istatistiksel yöntemlere dayalı üç farklı dil tanıma yöntemi incelenmiştir. Basit parametrelerden bazıları sınıflandırma için gerekli olan kelime miktarları ve tanınması gerekli olan dil sayısı için uygun eğitim kümesi oluşturma önem taşımamaktadır. Yapİlan çalışmalar eğitim küme büyüklüğünün 50 kelimeyi geçmesinin yeterli olduğunu göstermiştir. Önemli sayılabilecek parametrelerden birisinin metin uzunluğu olduğu yine bu çalışmanın bulguları arasındadır. İncelenen yöntemlerde ancak 500 karakter ve daha uzun metinlerin tanınması %95 başarıyla gerçekleşmektedir. Yapİlan testlerde metin uzunluğu 5000 ve üstüne çıkartıldığında sonuçların %99 başarılı olduğu gösterilmiştir. Başarİ oranı metin boyutu kısaldıkça doğru orantılı olarak azalmaktadır. Kİsa metinlerde kullanılan yöntemlerin hepsinde başarı oran bazen %60 seviyesine kadar gerileme göstermiştir . Botha ve arkadaşlarının  2007 yılında yaptığı çalışmada metin tabanlı 11 farklı Güney Afrika dili ele alınarak dil tanıma süreci araştırılmış ve n-gram istatistikleri sınıflandırma yapmak için kullanılmıştır . Bu süreç yönetiminde özellikle destek vektör makineleri (support vector machines) ve yakın komşuluk tabanlı sınıflandırıcılar (likelihood-based classifiers) karşılaştırılmıştır. Tanİma işlemi için giriş olarak uygulanan metinlerden az sayıda kelime ile tanıma işleminin mümkün olduğu belirlenmiştir. Destek vektör makineleri genel olarak daha başarılı sonuçlar vermesine rağmen sınıflandırma için gerekli olan yüksek işlem karmaşıklığı sebebiyle ancak basit ve kararlı bir sistem tasarımı için uygun olmadığı gösterilmiştir. Yapİlan n-gram testlerinde en iyi çalışma performansını veren n-gram analizi için gerekli olan n değeri 6 olarak bulunmuştur. Hollandaca, Danimarka ca, İngilizce, Fransİzca, İtalyanca ve İspanyolca dillerinin incelendiği bir çalışmada çeşitli (2-7 arası) büyüklüklerde n- gram analizlerinin ortalama hata oranları incelendiğinde 100 karakterli bir giriş seti için hata oranının %1,03 olduğu gösterilmiştir. Yapİlan bu çalışmada ise 15 karakterli bir giriş seti için hata oranı %0,6 olarak bulunmuştur. Botha ve arkadaşları tarafından yapılan diğer bir çalışmada ise Güney Afrika dillerinin Avrupa dillerine göre tanınma oranının daha düşük olduğu savunulmuş olmasına rağmen hata oranları olmadığı için bu çalışma ile birebir karşılaştırma yapılamamıştır .  nolu çalışmada yapılan testlerde daha büyük giriş setleri ile doğrusal olarak daha kesin sonuçlar elde edilmekte ve destek vektör makinelerinin karmaşıklık probleminin sistemi karasızlığa götürdüğü rapor edilmiştir. Aynİ çalışmada bahsedilen diğer metotların her dil grubu için oluşturulması gereken eğitim seti büyüklüğü belirtilmiş ve elbette aynı etnik kökeni paylaşan iki farklı dil içinde geçebilecek aynı kelimeler olabileceği için yakın komşuluk tabanlı sınıflandırıcıların büyük miktarda giriş verisi ile elde edilen sonuçlar sunulmuştur . El-Shishiny ve arkadaşları  tarafından 2004 yılında yapılan diğer bir çalışmada Arapça kökenli diller ve diğer diller arasında Arapça betiklerin kelime parçalama tabanlı bir metot ile nasıl ayrıştırabileceği araştırılmıştır. Bu yöntemin geliştirilmesi sırasında Arapça betiklere ait karakter kümesi olarak Arapça dilinde kullanılan kelimeler, ön ve son ekler ile unigramlar kullanılmıştır. Bu çalışmada internet kaynaklarından rastgele seçilen Arapça, Farsça, Urduca, Afganca ve Uygurca gibi Arapça betik tabanlı dillerden oluşan toplam 180 farklı örnek kullanılmıştır. Bu dillerden Arapça betiklerin tanınması ile %94 oranında dil tanıma başarısı elde edilmiştir. Bu her dil için mevcut dilbilgisi kurallarının çözümlenmesi ve sistemin bu kuralları kullanabilecek şekilde yapılandırılması gibi zorluklar taşımaktadır . Kruengkrai ve arkadaşları  tarafından 2005 yılında yapılan başka bir çalışmada otomatik dil tanıma için karakter dizisi
3 331 çekirdeği (string kernels) kavramı tabanlı yeni bir yöntem önerilmiştir. Önerilen yöntemde kodlama şekline rağmen, dillerde sık karşılaşılan bir sorun olan kelime parçalama probleminin karakter seviyesinde dil modelleriyle çözülmesi tanınması istenilen dil metin içinden doğrudan sağlanmıştır. Bu çalışmada işlem bağımsız metin sınıflandırması çıkartabilmektedir. Bu işlem yapılırken dikkat edilmesi gereken husus metin bilgisinin kodlama bilgisinin bir karakter dizisinin byteları şeklinde kodlanmasıdır, çünkü mevcut kodlama örüntüleri incelendiğinde çoğu sayfa için kullanılan ISO kodlama standardı 19 farklı Avrupa dilini için karakter seviyesinde n-gram modelleri kullanılmıştır. Önerilen yöntem dört farklı dil için 4 farklı metin sınıflandırma problemine uygulanmıştır. Yapİlan testlerde müzik veya DNA gibi ardışık veriler ile çoklu kategori sınıflandırması problemi (Reuters veri kümesi) gibi sorunların çözümünde desteklemektedir. Bu genellemenin geçerliliğini önerilen yaklaşımın başarısı ortaya konulmuştur. Bu çalışmanın kaybetmesiyle birlikte dil tanımanın bir sınıflandırma problemi olduğu görülmektedir. Sistemin kararlı bir şekilde çalışması için yapılması gereken ilk işlemin eğitim setinde her dile ait karakteristik yapının çıkartılmasının gerekliliği bu çalışmada vurgulanmıştır. Sonuçlar yeterli sayıda giriş setiyle 17 farklı dil için değerlendirilmiş ve elde edilen test sonuçlarında diller arası yakınsamanın azaltılması için eşleşen kötü yanları ise kelimeden karakter seviyesine kadar parçalama sorunu nedeniyle işlem hızının düşük olmasıdır . Nair ve arkadaşları  tarafından 2007 yılında yapılan çalışmada yazı dili İngilizce olmayan ülkelerin kendilerine özgü dil gruplarına karışan Latin kökenli metinlerin ayrıştırılarak gizli Markov modelleri ile bu metinlere ait dillerin analizleri incelenmiştir. Bu metinlerin resmi olmayan yazı dili Hintçe ve İngilizce anlamına sözcük öbeklerine göre ağırlık atama yönteminin gelen Hinglish olarak anılmaktadır. Bir başka örnek ise kullanılmasının gerektiği sonucuna varılmıştır. Yapİlan testler dil tanıma sorunu için kararlı bir metot oluştuğunu göstermesine rağmen performans ve hız konularında sistemin Malezya dır. Bu ülkenin resmi olmayan yazı dili Manglish yani Maleyce ve İngilizce anlamına gelmektedir. Bu İngilizce dil gürültüsü yazı dili İngilizce olmayan ülkelere ait metinlerin uzaysal karmaşıklığı nedeniyle gerekli sonuçlara bu ayrıştırılmasında büyük güçlüklere neden olmaktadır. Bu çalışmada yer verilmemiştir . Zavarsky ve arkadaşları  tarafından 2005 yılında yapılan çalışmada kodlama örüntüleri karşılaştırılarak çok yüksek sayıda giriş setlerine ait dil tanıma işlemlerinin sonuçları çalışmanın konusu gizli Markov modellerinin İngilizce olan ve olmayan metinleri ayrıştırabilmesi için bir sınıflandırma yapısının geliştirilmesidir. Bu sayede değişik dil modelleri ele alınarak oluşturulan metin editörleri ile dile bağlı renklendirme sunulmuştur. Bu çalışmada kullanılan büyük giriş kümeleri benzeri bir ayrıştırma aracı geliştirmektir. Geliştirilen (milyonlarca) Dil İzleme Projesinin bir ürünü olarak ortaya çıkmaktadır. Bu proje düzinelerce milyondan fazla metin tabanlı dokümandan oluşmaktadır. Önerilen yöntem tek bir Linux bilgisayarda her saniye 250 günde 20 milyon dokümanı yaklaşımın sözlük tabanlı metotlarla karşılaştırıldığında zaman ve uzay karmaşıklığı bakımından üstün olduğu görülmüştür. Sunulan modelin her dil için test edilememesinden dolayı modelin iyileştirilmesi gerekmektedir . inceleyebilmektedir. Bu sayede çok işlemcili Linux sunucularda analiz doküman sayısı günlük 100 milyona ulaşabilmektedir. Doğal dillerde yazılan metinlerin tanıma probleminde metinlerin karakter kodlama örüntülerinin belirlenmesi zor bir sorun değildir. Şayet bir doküman birden fazla dil ile yazılmamış ise yeteri kadar uzun olması kabul edilebilir bir sürede belirli sayıda dokümanın analiz edilmesini sağlamaktadır. Bu amaçla sıklıkla kullanılan yöntemler kelime tabanlı metotlardır. Elbette bu metotlar temelde karakter kodlaması bakımından etkisizdir ve daha önceden sınıflandırma bilgisi eğitilmiş herhangi bir dili tanıyabilirler. Kaydetme yapısı, tanınması beklenen dil ve kodlama örüntüsü için en uygun şekilde ve yeniden kullanılabilirlik ile çok işlemli programlama kavramı göz önüne alınarak önerilmiştir. N-gram ve kelime tabanlı araçları kullanıcılar tanıtmak istedikleri dil için eğitirler. Kullanİcİ her dil için gerekli olan materyali toparlayarak eğitim sürecini gerçekleştirir. Bu araçların birçoğu sayısal dokümanlarda sıklıkla tercih edilen Avrupa dilleri ve bazı Asya dilleri için çalışmaktadır. Bu yüzden sisteme giriş olarak uygulanan dokümanların çeşitli kriterleri sağlaması gerekmektedir . Peng ve arkadaşları  tarafından 2003 yılında yapılan çalışmada dil bağımsız ve işlem bağımsız metin sınıflandırması ile karakter tabanlı n-gram dil modelleri kullanan bir metot önerilmiştir. Bu yaklaşım en genel haliyle basit teorik ilkeler kullanan ve birçok çeşit dil sınıfında başarıyla çalışan bir yapıdır. Bu yapının kurgulanması için öznitelik vektörlerinin seçimine ya da büyük ön işlemlere gerek yoktur. Bu sistemin çalışmasını ve bağımsızlığını sınamak amacıyla Yunanca, İngilizce, Çince ve Japonca dilleri dil tanıma, metin sınıflandırma, yazar niteleme, yazı türü sınıflandırma ve konu tespiti gibi çözülmesi zor sorunlar ile test edilmiştir. Önerilen bu yaklaşım ile Asya kökenli Ahmed ve arkadaşları  tarafından 2004 yılında yapılan çalışmada etkili dil sınıflandırma için n-gram tasarsız birikimli frekans ekleme metodu kullanılmıştır. Bu yeni sınıflandırma tekniği ile geleneksel Bayesian sınıflandırma metotlarına göre çok daha basit uygulanmaktadır buna rağmen sınıflandırma süreci kısa kelime parçalarında hız ve etkinlik olarak aynı performansı vermektedir. Sİnİflandİrma hızı öncelik sıralamalı n-gram sınıflandırma metotlarına göre 5-10 kat daha hızlı çalışmaktadır. N-gram sınıflandırma metotlarıyla dil tanıma süreci bölgesel farklılıklardan etkilenmeyen yüksek performansla çalışan literatürde yer edinmiş ve üstüne uzun araştırmalar yapılmış bir sistemdir. Bu sistemin en büyük dezavantajı sınıflandırmada kullanılan öncelik tabanlı metodun hızının düşük olmasıdır. Bu hız düşmesine neden olan şey sınıflandırma için test dokümanında frekans sayma ve sıralama değerlerinin bulunmasının gerekliliğidir. Bu çalışmada birikimli frekans ekleme metodu ile bu performans artışının sağlanması hedeflenmekteyse de uzun kelimeler ve paragraflar içinde geliştirilmesi gerekmektedir . Constable  tarafından 2002 yılında çalışmada yeni teknik ve standartlarının geliştirilmesinin ihtiyacı üzerinde durulmuştur. Elbette yeni kullanım senaryolarına tam uyacak bir modelin geliştirilmesinde çeşitli zorluklar yaşanacaktır. Bu çalışma dil modeli ve dil içerikli kategorilerde gereksinim duyulan varlık bilimsel bir modelin eksikliğini gidermeyi hedeflemektedir. Bu noktada var olan çalışmalarda öne çıkan iki unsur dil ve yerelleştirme konunun özünü oluşturmaktadır. Mevcut problemlerin çözülebilmesi için dil tanıma sistemlerinde olması gereken bazı özelliklerin yazı sistemleri, varlık bilim, alan tanımlı veri kümesi, lehçeler ve diğer alt dil varyasyonları, üst dil bilim kategorileri, tarihsel dil değişimleri, dil bağımlı kategorileştirme ve yerelleştirme ile tüm bu sınıfların tartışıldığı konu başlıklarıyla bir inceleme yapılmıştır .
4 332 Adams ve arkadaşları  tarafından 1997 yılında yapılan Bu çalışma sayesinde iki dile ait metinlerden ses birimi çalışmada Java programlama dili platformunda tasarlanmış hecelerine geçiş sürecinin sağlanabileceği sistemin bu deneysel bir sistem tanıtılmıştır. Bu sistemin Java platformuyla geliştirilmesinin sebebi kullanıcı tarafı web göstericisinde doğrultuda geliştirilmesi ve mevcut sorunların çözümlenmesiyle sistemin daha kararlı bir şekil alacağı savunulmuştur . çalışabilen doğal dil işleme sistemlerinde kullanılması için gerekli uygulama seviyesi dağıtık tabanlı bileşenlerinin Java dili içinde bulunmasıdır. Bu sayede doküman sunucusu ya da uzman sistem ajanları tarafından uyumlu çalışabilmektedir. Bu çalışmanın oluşturulmasında dil tanıma sistemlerinde sıklıkla kullanılan n-gram analizleri kullanılmıştır. N-gram analizlerde ihtiyaç duyulan etiketlendirme ve metin parçalama bilgisi dinamik olarak oluşturulmaktadır. Uygulama sonucunda elde edilmek istenilen sonuçlar dil modelleri arasında etiketlendirme performansı ile işlem bütünlüğünü arasındaki köprünün kurulmasıdır. Dil etiketleri tüm doküman için ya da doküman grupları için öğe tabanlı yapısal bir bileşen olarak ele alınmıştır. Sonuç olarak bu çalışmada karakter tabanlı etiketlendirme ile yapılan n-gram analizlerine yer verilmiştir. Bu modülasyon Liu ve arkadaşları  tarafından 2005 yılında yapılan çalışmada önerilen sistem dil tanıma problemini karakterlerin resimlerinden tanımayı hedefleyen, birden çok dil barındıran dokümanlarda dil sınırlarının belirlenmesi için ilgili karakterlere ait resim verilerinin sınıflandırılması için yeni bir yöntem önerilmiştir. Bu amaçla prototip bir sınıflandırma yöntemi ve destek vektör makineleri kullanılmıştır. Büyük boyutlu eğitim veri kümesi nedeniyle her iki metot için eğitim hızını artıracak yeni bir teknik önerilmiştir. Bu metotlar kullanılarak Çince, İngilizce ve Japoncanİn (Hiragana ve Katakana dahil) dillerinin tanınması hedeflenmiştir. Elde edilen sonuçlar, oldukça kararlı ve literatürde kabul görmüş yöntemlerle karşılaştırılabilecek düzeydedir . sayesinde internetten bağımsız çalışan bir yapı ile internet vekil sunucusu tabanlı iki sistem önerilmiştir. Bu çalışma sayesinde konuşma etiketleme, tümce tanımlama, yabancı kelime çevirisi ve konu etiketleme gibi zorlukların aşılmasıyla birlikte web tabanlı zeki arama ve gösterimleri gibi konuların işlenebileceği önerilmektedir . Ölvecky  tarafından 2005 yılında yapılan çalışmada internetin büyümesiyle birlikte dil tanıma ve metin sınıflandırmanın öneminin artmasıyla birlikte bu alanda kullanılan n-gram varyasyonları incelenmiştir. İnternet üzerinde artan dokümantasyona karşılık olarak bu içeriklere özensizlikten meydana gelen metin ve gramer tabanlı hatalar dil tanıma işini zorlaştırmaktadır. Bu metotlar küçük değişiklikler ile metinlerden dil analizini %95 başarı oranıyla gerçekleştirebilmektedirler. Bu çalışmada tartışılan konu n-gram sınıflandırma tekniğinin bilinmeyen metinlerde sınıflandırma yeteneğinin yüksek kesinlikte bilinmesi için yapılması gerekenlerdir. Bu işlemlerden bir tanesi n-gram için kullanılan metin boyutunun azaltılmasıdır, uzun metinler eşit parçalar halinde kesilerek n-gram analiz büyüklüğü azaltılmaktadır. Bu alanda tartışılan bir başka konu ise n-gram giriş profili ile sistem eğitim büyüklüğünün ve yazım kalitesinin nasıl iyileştirilebileceği gösterilmiştir. Bu sayede tanıma performansının %10 kadar artış gösterdiği savunulmaktadır . Bilcu ve Astola  tarafından 2006 yılında yapılan çalışmada yazınsal metinlerden dil tanıması yapabilecek yapay sinir ağı tabanlı hibrit bir metot önerilmiştir. Bu problem metinden ses birimine (fonem) bağlı bir çalışmadır. Bu problemde amaç yazılı bir metine ait harflerin kendilerine karşılık gelen ses birimlerine dönüştürülmesidir. Bu süreçte şayet dönüştürülmek istenen tek bir dil varsa dil tanıma işlemine gerek yoktur, ilgili yazılı metin direkt olarak ses birimlerine dönüştürülmesine rağmen giriş dili bilinmeyen metinlerde genellikle ilk aşama metin dilinin tespit edilmesidir. Bu sistemin geliştirilmesi sürecinde çok katmanlı geriye yayılım algoritması ve basit karar verme parametrelerine dayalı kural tabanlı bir sistem kullanılmıştır. Bu uygulama özellikle İngilizce ve Fransİzca dilerinin tanınması amacıyla geliştirilmiştir. Bu sayede İngilizce veya Fransİzca dillerinde yazılmış metinlerin ayrıştırılarak tanınan dil özelliklerine göre metinden ses birimlerine çevrim gibi modüler bir yapı tasarlanmıştır. Zhu ve arkadaşları  tarafından 2008 yılında yapılan çalışmada el yazısı ve makine çıktısı yazılardan dil tanınmasına üzerine bir yöntem önermişlerdir. Bu yöntemin gerçeklenmesi için çok sayıda gerçek içerikli dokümandan oluşan resim koleksiyonları kullanılmıştır. Bu dokümanlar 8 dilde 1500 kadardır. Bu diller Arapça, Çince, İngilizce, Hintçe, Japonca, Korece, Rusça ve Tayca ile bu dillere ait hem el yazısı hem de makine çıktısı içeriklerden oluşmaktadır. Yapİlan testler sistemin yüksek karmaşıklıkta dokümanlar için iyi bir tanımlayıcı olduğunu göstermesine rağmen kod çizelgelerinin oluşturulmasında karşılaşılan uzaysal karmaşıklık gibi sorunlar nedeniyle sistemin uygulama aşamasında bazı sorunların aşılması gerekmektedir . Baykan ve arkadaşları  tarafından 2008 yılında yapılan çalışmada internet ortamında girilen tek bir adresten dil tanımanın mümkün olduğuna ilişkin öneriler sunulmaktadır. Bu sayede belirli bir dile ait içeriklerin getirilmesini saplamayı amaçlayan internet tarama sistemleri ve arama motorları tarafından böyle bir sistemin yararlı olacağı savunulmuştur. Bu sistem gereksiz sayfaların taranmasını da engellemektedir. Sunulan, çalışmada birçok makine öğrenme algoritması değerlendirilmiş ve İngilizce, Fransİzca, Almanca, İspanyolca ve İtalyanca için karşılaştırmalı testler yapılmıştır. Bu testler neticesinde en iyi metot F-ölçümü olmuştur. Bu yöntem ile tüm dillerde web tarayıcılarından elde edilen 25K boyutunda 1260 web sayfasında ortalama %90 oranında başarı elde edilmiştir. 5 K büyüklüğündeki internet arama motorlarından elde edilen başarı oranı ise %96 olmuştur. Bu çalışmada kullanılan performans kriteri F-Ölçümü dür. Bu ölçüm makine dil tanıma başarı kriteri olarak anılmaktadır. Bu test süreçlerinde kullanılan sayfalar ODP verileridir. Bu internetin kategorilere göre taranması amacıyla geliştirilen ve dil bağımlı olarak yayınlanan bir veritabanıdır. Karşİlaştİrmalİ algoritmalar olarak geleneksel Bayes metodu, maksimum entropi metodu kullanılmıştır. Bu çalışmada karşılaşılan en büyük sorun İngilizce gözüken web sayfası adreslerine bağlı içeriklerin İngilizce olmayan dillerde yazılmış olmasıdır. Kullanİlan yöntem önceliklere ülkelere ait cctld kayıtlarının belirlenmesidir, bu her ülkeye ait olan ve alan adının sonuna o ülkeye ait tanımlayıcı karakter dizisinin gelmesi işlemidir. Bu aşamadan sonra her ülke grubu için 10 farklı durma kelimesi belirlenmektedir, bu durma kelimeleri her dil içinde en sık geçen kelimelerden seçilmektedir.
5 333 Bu durma kelimelerinin 8 ila 10 tanesi 1 den 10 a kadar 8. Yapay Sinir Ağİ Çİkİşİnİ Karşİlaştİr ve Dil Tanİma kombinasyonlarla arama motorlarında aratılarak sonuçlar Sonucu Bul işlenmektedir. Bu sisteme son olarak 97 milyon tekrarlanmayan sonuç içeren bir internet arama motorunda 1260 rastgele sayfa eklenmektedir. Bu testlerde kişilerden ODP veri kümesinde 9. Çeviri modülünde Web Sayfasİnİ Tanİma Sonucundan İngilizceye Çevir kategorize edilmemiş 100 sayfayı tanımlamaları istenmiş ve ancak %50 başarı elde edilmiştir, sistem testlerinde ise bu başarı Önerilen bu yöntem sayesinde farklı dillere ait alfabelerden oluşan bir küme içerisinden eğitilen yapay sinir ağının %86 oranı %85 olarak gözlenmiştir . Takçİ ve Soğukpİnar , oranında düşük bir başarıyla dil tanımlama işlemi harf tabanlı istatistiksel bir metot önermişlerdir. Bu yöntem ile n-gram ve ortak sözcük metodu gibi yöntemlerde gerekli olan gerçekleştirmektedir . Farklİ içerik ve dil tanımada beklenen performansı vermemesinden dolayı yeni yöntemler sözcükler yerine dil tanıması için kullanılacak metin içinde geliştirmek ve kullanmak zorunluluk haline gelmiştir. geçen harflere ait bir sıklık durum analizi yapmışlardır. Bu sayede inceledikleri İngilizce, Fransİzca, Almanca ve Türkçe dilleri için alfabe bazında harflerin bulunma dağılımlarını çıkartarak dil tanıma için verilen bir metin içerisindeki harfleri Yavanoğlu ve Sağİroğlu , tarafından yapılan bir diğer çalışmada ise Latin alfabe grubuna dahil 15 dil için karakter frekans analiziyle çözüm uzayı karmaşıklığını göz ardı eden yapay sinir ağı temelli bir dil sınıflandırıcı önerilmiştir . ait olduklara dillere göre puanlayabilecek bir sistem Bu çalışma Web Tabanlİ Otomatik Dil Tanİma ve Çeviri geliştirmişlerdir. Sağİroğlu ve arkadaşları , tarafından 2007 yılında yapılan çalışmada yapay sinir ağı modelinin dil Sistemi Geliştirilmesi başlıklı yüksek lisans tezinde detaylı olarak açıklanmıştır . sınıflandırmak amacıyla kullanılabileceği ve tanımlama başarısının sınırlı sayıda dil için literatürde kabul görmüş diğer metotlar ile aynı düzeyde olduğu gösterilmiştir. Bu çalışmada, farklı dillerdeki web sayfası içeriklerinin tanınması için yapay sinir ağları tabanlı zeki bir yaklaşım kullanılmıştır. Bir metine ait harf sıklık yüzdesinden doğal dilleri tanıyabilmek için eğitim esnasında; sisteme girişler, hangi dile ait olduğu bilinen metinlerin harf sıklık analizleri, çıkışlar ise bu dilleri temsil etmeye yarayan sayı değerleridir. Böylece sistem harf sıklık analizleri ile tanınması istenilen dil kodu arasındaki ilişkiyi Bölüm 3 te tanıtılan YSA yapısı ile öğrenmektedir. Bu zeki Sonuç olarak, bu alanda yapılan çalışmalar incelendiğinde hızlı cevap verebilen durağan ve karar mekanizması kararlı bir sistem tasarımına ihtiyaç bulunmaktadır. Literatür de önerilen metotlar metin bilgisinin çeşitliliği ile karmaşıklığın arttığını göstermektedir. Ayrİca, birçok platformda kullanılan sözcük bazlı metotların güncel veritabanı ihtiyaçlarının bulunduğu özellikle web tabanlı olanlarının , ,  nolu çalışmalar hariç pratik olarak uygulamasının bulunmadığı, yazarlar tarafından geliştirilen web tabanlı yaklaşımında performansının geliştirilmesi gerektiği görülmüştür. sistemde sunulan yöntem ile aradaki ilişkiyi öğrendikten sonra sisteme sadece tanınması istenilen dile ait metin bilgisi web sayfası üzerinden çevrimiçi olarak uygulanır, sistem öğrendiği 3. Yapay sinir ağları ve levenberg-marquardt öğrenme algoritması bilgileri kullanarak metin bilgisine ait harf sıklığını modeller ve bu modelin özelliklerine göre uygulanan doğal dile ait dil sınıfını belirler. Bu sayede uygun koda karşılık gelen dil çözümlenerek açığa çıkar. Şekil 1 de geliştirilen sisteme ait akış şeması verilmiş ve detaylar sunulmuştur. Bu ilk yönteme ait çalışma uluslararası bir konferansta 2007 yılında sunulmuştur . Bu bildiride geliştirilen yazılım web sayfası içeriklerini inceleyerek sayfanın dilini tespit etmekte ve ilgili sayfayı bahsedilen çeviri servisleri yardımıyla İngilizce diline dönüştürmektedir. Bu ilk çalışmada geliştirilen sistem, Türkçe, Fransİzca, İtalyanca, Hollandaca ve Almanca dilleri için test edilmiştir. Geliştirilen dil tanıma sisteminin, yapay sinir ağları sayesinde tanıma performansı, literatüre göre yüksek olsa da yaklaşımın işlem karmaşıklığını arttırdığı gözlemlenmiştir. Şekil 1 de geliştirilen zeki dil tanıma sistemi blok diyagramı verilmiş ve bu sistemin çalışma prensibi akışı aşağıda verilen adımlarda özetlenmiştir. 1. İçerik Getirme Modülünde Kullanİcİ Girişine Web Sayfasİ Adresi Uygula 2. Varsayİlan Karakter Kodlamasİ ile Sayfa Kaynak Kodunu Sisteme getir 3. Olmasİ Gereken Karakter Kodlama Kümesi ile Sayfa Kodunu Sisteme Getir 4. Kaynak Temizleme Modülünde Sayfa Kodu 5. Üzerinde İngilizce Zorunluluk Kelimeleri ile HTML Kodlarİnİ Temizle 6. Dil Tanİma Modülünde Önerilen Alfabe Kümesi ile Karakter Sİklİk Analizi Yap 7. Karakter Frekans Analizi Sonucunu Önceden Eğitilmiş Yapay Sinir Ağİna Uygula Yapay Sinir Ağlarİ (YSA), yapılarına göre ileri beslemeli (feed forward) ve geri beslemeli (feed back) olarak ikiye ayrılır. İleri beslemeli ağlarda işaretler, giriş katmanından çıkış katmanına doğru tek yönde iletilirler. Geri beslemeli ağlarda, çıkış ve ara katman çıkışları kendinden önceki katmanlara ya da girişe geri beslenir. İleri beslemeli ağlara Çok Katlİ Perseptronlar (MLP), Radyal Tabanlİ Fonksiyon Ağİ (RBFN) ve LVQ (Learning Vector Quantization) örnek verilebilirken, ART (Adaptive Resonance Theory), SOM (Self Organizing Maps) ve Elman ve Jordan ağları geri beslemeli ağlara örnek olarak verilebilir . Bu YSA yapıları Şekil 1 de verildiği gibi ileri beslemeli standart birleşmeli yapıda olabileceği gibi geri beslemeli dinamik yapıda da olabilir. Bu çalışmada, ileri beslemeli ağ yapılarından olan Şekil 2 de verilen MLP yapısı kullanılmıştır. MLP yapısının tercih edilmesinin nedeni, bilinen en eski YSA modellerinden olması çok farklı uygulamalarda başarılı olması ve sınıflandırma problemlerinde başarılı sonuçlar üretmesidir. Bunlarİn yanında, farklı öğrenme algoritmaları ile kullanıma uygun olması MLP nin sağladığı diğer bir üstünlüktür. Şekil 1 de bu çalışma kapsamında kullanılan MLP yapısı ve nöron sayıları örneklenmiştir. MLP modeli, bir giriş, bir veya daha fazla ara katman ve bir de çıkış katmanı içerir. Bir katmandaki bütün nöronlar bir sonraki katmandaki bütün nöronlara bağlıdır. Giriş katındaki nöronlar tampon gibi davranırlar ve giriş sinyalini ara katmandaki nöronlara dağıtırlar. Ara katmandaki her bir nöronun çıkışı, kendine gelen bütün giriş sinyallerini takip eden bağlantı ağırlıkları ile çarpımlarının toplanması ile elde edilir. Elde edilen bu toplam, çıkışın toplam bir fonksiyonu olarak hesaplanabilir.
WEB TABANLI OTOMATİK DİL TANIMA VE ÇEVİRME SİSTEMİ GELİŞTİRİLMESİ. Uraz YAVANOĞLU YÜKSEK LİSANS TEZİ BİLGİSAYAR MÜHENDİSLİĞİ
WEB TABANLI OTOMATİK DİL TANIMA VE ÇEVİRME SİSTEMİ GELİŞTİRİLMESİ Uraz YAVANOĞLU YÜKSEK LİSANS TEZİ BİLGİSAYAR MÜHENDİSLİĞİ GAZİ ÜNİVERSİTESİ FEN BİLİMLERİ ENSTİTÜSÜ MAYIS 2009 ANKARA 2 Uraz YAVANOĞLU
Gazi Üniv. Müh. Mim. Fak. Der. J. Fac. Eng. Arch. Gazi Univ. Cilt 25, No 3, 483-494, 2010 Vol 25, No 3, 483-494, 2010 WEB TABANLI OTOMATİK DİL TANIMA VE ÇEVİRME SİSTEMİ Uraz YAVANOĞLU ve Şeref SAĞIROĞLU