Anasayfa » Microsoft Azure HDInsight ile Hadoop Cluster Kurulumu
Yazar Barış AYDOĞMUŞOĞLU tarih	 06/09/2015 Yorum Yok	/ 31 görüntüleme
Yazımın devamında Azure HDInsight ile Hadoop cluster’ının teşkil edilmesini inceleyeceğim. Azure HDInsigh servisi farklı veri analitiği iş yükleri için farklı cluster tiplerinin kurulumuna olanak sağlıyor. Sorgu(query) ve Analiz iş yükleri için Hadoop cluster, NoSQL iş yükleri için HBase cluster, gerçek zamanlı event processing” iş yükleri için Storm cluster tipini oluşturup kullanabilirsiniz . HDInsight servisi üzerinde teşkil edeceğiniz bu cluster tipleri farklı sayıda node’lar içeriyor. Azure müşterileri cluster’ın yaşamı bulunca çalışan node’lar üzerinden ücretlendiriliyor. Ücretlendirme cluster çalışmaya başladığın andan itibaren başlıyor. Cluster “silinene” kadar devam ediyor. De-allocation ve on hold yapılamıyor. Cluster’ınızı silmediğiniz sürece ücretlendirme devam ediyorJ
Hadoop cluster’da heap node(iki node) ve data node(en az 1 node) roller mevcut. HBase cluster’da heap server(iki node), region server(en az bir node), master/zookeeper node(en az üç node) roller mevcut. Storm cluster’da nimbus node(iki node), supervisor server(en az bir node), zookeeper node(üç node) roller mevcut. Storage ve Data Transfer ücreti bunlardan ayrı olarak faturanıza yansıyor. Kaynaklar kısmında ücretlere dair bir adres paylaştım. Örneğin üç node’lu bir Hadoop cluster için ~414 TL/AY ile ~13467 TL/AY lik bir ücret aralığı mevcut.
Apache Ambari kurulumu ve yapılandırmalarından önceki yazımda bahsetmiştim. Geleneksel data center’a(on-premise tarafında) benzer bir kurulum yapmak isterseniz manual yapılandırmalar gerekecektir. Azure HDInsight servisi ile hadoop cluster’ın kurulması(windows veya linux üzerinde) hızlıca gerçekleşebiliyor. Tabii ki servisin maliyetini göz önüne almak gerekir J. Sizin yapmak istediğiniz işe bağlı olarak; Azure HDInsight servisiyle windows üzerine kurulan hadoop cluster ile linux üzerine kurulan hadoop cluster, yönetimsel ve/veya işlevsel açıdan aynı esneklikte olmayabilir.
Bulut servisleri için maliyet analizi ilk başta yüksek görünecektir fakat geleneksel veri merkezlerinden bu tür sistemlerin(Hadoop,hbase,storm vb.) kurulumu,yönetimi ve genel maliyeti göz önüne alındığında düşünceleriniz farklılaşabilir. Anlık veya kısa süreli ihtiyaçlarda bulut servislerinden faydalanmak daha avantajlı olabilir!