Hadoop YARN Mimarisi – Büyük Veri Türkiye
Hadoop YARN Mimarisi
Bu bölümde Hadoop YARN(Yet Another Resource Negotiator) Mimarisi hakkında bilgiler vereceğiz
YARN genel olarak MapReduce gibi dağıtık uygulamalarımız için kaynak yönetimini sağlar(ram,cpu).Fakat MapReduce kodları geliştirirken YARN’a doğrudan müdahe etmemize gerek yoktur.YARN arka planda resource yönetimini bizim için sağlar
Ayrıca Yarn MapReduce dışında Spark ve Tez için kaynak yönetimi’de sağlar
YARN’ın çalışma prensibine geçmeden önce genel terimlerden bahsedelim
ResourceManager, hadoop cluster içerisindeki kaynakları takip eder ve uygulamaları yönetir
NodeManager, hadoop cluster içerisinde bulunan her bir slave üzerinde çalışan uygulamadır.Görevi ise kendisini ResourceManager’a tanıtmak ve belirli periyotlarda bulunduğu makine ile ilgili bilgi mesajı vermektir.Ayrıca bulunduğu makinadaki kaynakları(memory,vcore) yine ResourceManager’a bildirir.
Container nedir ?
HDFS içerisinde uygulamaların çalıştığı,belirli bir kaynağa sahip olan(ram,core) bileşendir.MapReduce job’ı bir yada birden fazla container içerisinde çalışabilir.
Hadoop üzerinde bir uygulama nasıl çalışır?
Şimdi adım adım bir uygulamanın çalışma prensibini inceleyelim
Öncelikle Client bir uygulamayı başlatır
Uygulama ResourceManager’a yönlendirilir
ResourceManager cluster üzerindeki kaynakları kontrol eder ve node içerisindeki ApplicationMaster’a bir yada birden fazla Container başlatması için bilgi verir.Çalıştırılan Container’lar farklı makinalar üzerinde bulunabilir.
ApplicationMaster ise uygun sayıda Container başlatarak, bu Container’lar içerisinde MapReduce uygulamalarının çalışmasını sağlar.
Daha sonra sonuçlar client’a bildirilir
Bu bölümde YARN hakkında bilgi verdik.
Yazar serkan sakınmazYayın tarihi Aralık 9, 2016 Mart 22, 2018 Kategoriler HadoopEtiketler yarn mimarisi, yarn nedir
Önceki Önceki yazı: Hadoop’un Temel Bileşenleri (Core Hadoop Components)
Sonraki Sonraki yazı: Hadoop HDFS Mimarisi