İntellicadan Hadoop Çözümü haberi
31 Mart 2012 Cumartesi 14:59
İntellica'dan Hadoop Çözümü
Intellica, önümüzdeki dönemde oldukça yaygınlaşacak olan Hadoop teknolojisini müşterilerine özel çözümlerle uygulayarak fark yaratıyor.
Google, her geçen gün geliştirdiği farklı yazılımlarla hayatımızı daha fazla etkiliyor. Bu değişim süreci 2003 yılında Google tarafından geliştirilen Google Dosya Sistemi ile başladı ve 2004 yılındaki MapReduce programı üzerine yayınlanan teknik duyuru ile devam etti. Değişen teknolojiye rağmen Google’ın karşılaştığı en büyük problem tonlarca bilgiyi saklayabilmek ve işleyebilmekti. Google mühendisleri bu sorunu GFS ve MapReduce yazılımları ile çözmeyi başardılar.
Aynı dönemde Nutch arama motorunu geliştiren Apache Software Foundation (ASF) benzer problemleri çözmeye çalışıyordu. ASF, Google’ın yayınladığı teknik duyurudan esinlenerek Hadoop Dağıtık Dosya Sistemini (HDFS) ve yine aynı isimli MapReduce algoritmalarını geliştirmeye başladı. ASF’nin ürettiği bütün yazılımlar, ASF lisansı altında açık kaynak kodlu ve ücretsiz olarak dağıtılıyor.
Mapreduce, HDFS üzerinde dağıtık bir biçimde bulunan biçimsiz, yarı biçimli veya biçimli verilerden anlamlı bilgiler çıkarmaya yarayan; eş zamanlı birçok işlemi yönetebilen bir mimariye sahip bulunuyor. Hadoop ise üreticiden bağımsız binlerce Linux tabalı bilgisayarın birbirine bağlanması ile oluşturulmuş sunucular tarlasının tek bir dosya sistemi gibi görünmesini sağlıyor.
HDFS ve Mapreduce’un ardından: PIG, HQL ve HBASE
HDFS ve Mapreduce programlarının geliştirilmesinin belirli bir olgunluğa ulaşmasının ardından diğer şirketlerin de desteği ile HDFS üzerinden bilgileri işlemeye yarayan çok önemli yazılım katmanları da oluşmaya başladı. Bu programlardan en önemlileri PIG, HQL ve HBASE’dir.
PIG ve HQL alt katmalarında Mapreduce mimarisi kullanılarak geliştirilmiş sorgulama ortamlarıdır. HQL (Hive Query Language), SQL formatında büyük veri dosyalarından anlamlı bilgiler çıkarmak için Facebook mühendisleri tarafından tasarlandı. PIG programının HQL’den tek farkı ise sıralı bir şekilde sorgu yapabilmesidir. Başka bir deyişle, bir önceki satırdaki veri kümesi (data-set/output), herhangi bir geçici ara tablo oluşturmaya gerek kalmaksızın sonraki satırlarda veri (input) olabiliyor.
PIG ve HQL, OLAP/ETL türü işlemler için kullanılıyor. Sorgulamanın sonuç üretme süresi ise sorgunun karmaşıklığına ve verinin büyüklüğüne göre değişiyor. Diğer bir önemli program olan HBASE ise OLTP türü işlemler için geliştirildi. HDSF üzerinde ayrı bir katman oluşturan HBASE, veriye doğrudan anlık erişim olanağı sağlıyor. Ayrıca, verileri kolon bazlı şekilde saklayıp, erişimi hızlandırmak için gerekli disk bölümlemesini otomatik olarak yapıyor.
Intellica Büyük Veri Platform Mimarı Faruk Berksöz büyük verinin işlenmesinin kurumlar için kaçınılmaz bir hale geldiğini belirtip, “Günümüzde büyük yazılım devleri konunun önemini kavramış olup, müşterilerine büyük veriyi işleyebilmeleri için alt katmanda HADOOP mimarisini kullanan Cloud Computing çözümleri sunuyorlar. Intellica olarak müşterilerimizin ihtiyacına göre çözümler üretiyoruz. Google’ın yarattığı dalganın, bilişim sektöründeki etkisinin katlanarak artmasını bekliyoruz. Önümüzdeki dönemde maliyetleri düşürmek için ilişkisel veri tabanları da Hadoop ya da benzer platformlarda çalışmaya başlamak zorunda kalabilirler. Tabii ki bunu zaman gösterecek. Her durumda, bu ortamlara şimdiden yatırım yapan firmalar rekabette büyük avantajlar yakalayacaklar” diyerek Hadoop’un önemini açıkladı.