Hadoop Kurulumu (Pseudodistributed) - DataDemi
HomeHadoopHadoop Kurulumu (Pseudodistributed)
Hadoop nasil kurulur? Pseudodistributed nasil calisir?
Size bu yazımda Linux üzerinde Hadoop’u nasıl kurabileceğinizi anlatacağım. Ben şahsen Centos dağıtımı kullanıyorum. Ubuntu içinde aynı kurulumu sorunsuz yapabilirsiniz.
Öncelikle sisteminizin hadoop için uygun olup olmadığınızı kontrol etmeniz gerekli. Linux dağıtımınızdan tutunda JDK’ya kadar herşey etkili. Eğer uygun JDK mevcut ve sisteme tanımlı ise direk kurulum aşamasına geçebilirsiniz.
Bu sayfa üzerinden uyumlu JDK versiyonunuzu kontrol edebilirsiniz: http://wiki.apache.org/hadoop/HadoopJavaVersions
Ben, java version “1.8.0_11” JDK’yı başarılı olarak kullanıyorum. İşin sırrı son sürümlerden seçmemek.
Şimdi yapılacak işlem ise JAVA_HOME’u sisteme tanıtmak. Centos sistem üzerinde isterseniz /etc/profile.d içinde yeni bir script oluşturun isterseniz benim gibi direk /etc/profile dosyasına ekleyin.
komutu ile direk profil dosyasını açıp içine jdk versionunuza uygun olarak satırı ekleyin:
Path kısmının sonuna ise :$JAVA_HOME/bin şeklinde ekleme yapın:
Ondan sonra ise export PATH ile başlayan kısmın sonuna JAVA_HOME ekleyin. Logout-login işleminden sonra
yazdığınız zaman versiyonunuza uygun olarak aşağıdaki gibi bir sonuç görmeniz gerekmekte:
Hadoop sayfasından (http://www.apache.org/dyn/closer.cgi/hadoop/common/) istediğiniz versionu indirebilirsiniz. Burada ince bir ayrıntı mevcut. Aşağıdaki tabloyu incelerseniz aralarındaki farkları görebilirsiniz.
Güvenli Otorizasyon Evet Hayır Evet
Eski Konfigrasyon İsimleri Evet Deprecated Deprecated
Yeni Konfigrasyon İsimler Hayır Evet Evet
Old MapReduce API Evet Evet Evet
Yeni MapReduce API Evet(Bazı kütüphaneler eksik) Evet Evet
MapReduce 1 (Klasik) Evet Evet Hayır
MapReduce 2 (YARN) Hayır Hayır Evet
HDFS federation Hayır Hayır Evet
HDFS high-availability Hayır Hayır Evet
Size uygun olan versiyonu seçtikten sonra indirme işlemini yapabilirsiniz. Ben YARN(Yet Another Resource Manager) kullanmayı tercih ediyorum.
İndirme işlemini yaptıktan sonra standart kullanıcıların erişebileceği bir klasöre açabilirsiniz.
Dosyaları yerleştirdikten sonra bunları PATH’e eklemek uzun vadede çok işe yarayan bir işlemdir. Bunun için gene profile dosyasını değiştireceğiz.
Burada dosyaların olduğu klasör nerede ise orası gösterilmelidir. Ondan sonra ise:
Şekline getirilmelidir.export PATH’in sonuna ise HADOOP_HOME eklenmelidir.
Bu aşamadan sonra yapılacak son şey Pseudodistributed Mode olarak ayarlamak. Bunun sebebini şimdi açıklayacağım. Aslında Hadoop tek bir makinede mi çalışıyor yoksa her bir iş ayrı makineden mi takip ediliyor ayrımı yapmıyor. Bu sebeple siz bir developer iseniz doğal olarak tek bir makine üzerinden işlem yapıyor olacaksınız. HDFS varsayımsal olarak bir datayı 3 noktaya koyar. Bu tek makinede çalışırken aslında istenen bir durum değildir.
Pseudodistributed Mode Ayarlanması
Hadoop kendi sayfasında bununla ilgili bir açıklaması mevcut. Ben bu ayarları biraz daha farklı yaptım. Hadoop klasürünün içinde “etc/hadoop” klasörünün altında kullanacağımız dört adet xml dosyası mevcut. Bunlar sırasıyla
dosyalarıdır. Yapacağımız değişiklikler ise aşağıdaki gibidir.
mapred-site.xml (Eğer yoksa .template uzantısını silerek oluşturabilirsiniz.)
Kurulumun tamamlanması için geriye kalan tek işlem ise ssh ayarlanmasıdır.
Normal kullanıcı olarak aşağıdaki iki satır komutu çalıştırmak yeterlirdir.
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
Böylece Hadoop’un şifresiz bir şekilde ssh yapmasını sağlamış olduk. Kontrolünü
Yazarak sağlayabilirsiniz. Eğer sorun yoksa direk sizi içeri alacaktır. Artık çalıştırıp sonuçları görelim.
Öncelikle HDFS dosya sistemini formatlayalım:
Daha sonra ise iki satır çalıştırmamız gereklidir:
Eğer şu aşamaya kadar hiç bir sorun yaşamadaysanız Java’nın kendi komutu olan çalışan Java işlemlerini gösteren “jps” komutunu çalıştırıdığınızda Hadoop görüyor olmalısınız.
Eğer portları değiştirmediyseniz aşağıdaki sayfaları ziyaret ederek Hadoop’unuz durumu hakkında bilgi sahibi olabilirsiniz.
HDFS : http://localhost:50070/
YARN : http://localhost:8088/
Öncelikle YARN olmak üzere üzere işlemleri durduruyoruz.
big data, Centos, Hadoop, hadoop kurulumu, hadoop nasıl kurulur, HDFS port, Pseudodistributed Mode, YARN port
Previous Post Apache Hadoop Nedir?
Next PostHadoop Merhaba Dünya
Harika bir paylasim!