Fun With Docker - ELK Stack - ElasticSearch
Buradasınız :Anasayfa » Tüm Makaleler » Container » Fun With Docker – ELK Stack – ElasticSearch
Yazar :Hakkı Öğretmen Tarih : 12/08/2018 Kategori : Container, DevOps 0
Fun with Docker yazı serisine ELK Stack kurulumunu aktaracak, yazı dizisi içerisinde yeni bir yazı dizisiyle devam etmeye karar verdim.
Bilmeyenler için ELK, 3 ayrı open source proje olan Elasticsearch, Logstash ve Kibana projelerinin birleşiminden oluşan yine open source olarak kullanıma sunulan ve bakımı Elastic tarafından yürütülen bir proje.
Bu arada ELK Stack ile ilgili tüm detaylara https://www.elastic.co/elk-stack linkini kullanarak ulaşabilirsiniz.
Peki biz yazı dizisi sırasında ELK Stack ile neler yapmaya çalışacağız?
Docker hostumuz (Windows 10) üzerinde File Beat kurarak, IIS Loglarını toparlayacağız. Topladığımız bu IIS loglarını container üzerinde koşan LogStash’e gönderecek ve LogStash üzerinde yaptığımız konfigürasyonlarla parse operasyonunu tamamlayıp, oluşan anlamlı datayı yine container üzeride koşan ElasticSearch ‘e insert edeceğiz. Insert ettiğimiz tüm bu log datasını ise yine container imajı olarak ayağa kaldırıp, konfigürasyonunu yaptığımız Kibana ile görüntüleyeceğiz.
Yazı dizisi tamamlandığında, Docker açısından önemli challangelardan bir tanesi olarak karşımıza çıkabilecek Container’lar arasındaki network iletişimi ve sytem adminler açısından büyük bir challange olan log toplama ve raporlama konularını containerlar üzerinde ELK sistemi ayağa kaldırarak bir çözüme kavuşturmuş olacağız. Umarım elime yüzüme bulaştırmadan çalışan bir sistem kurabilirim:)
Yazının ilk bölümüne tüm projenin ve yazı dizimizin depend ettiği ElasticSearch kurulumu ile başlayacağız.
Herşeye başlamadan önce Docker for Windows ile yeni tanışıyorsanız, community (ce) edition ‘ı download ederek bilgisayarımıza kurmamız gerekiyor. https://www.docker.com/docker-windows
Docker for Windows kurulumunu tamamladıktan sonra repositoryde ihtiyacımız olan imajı local repositorye indirerek kuruluma devam edebiliriz.
Öncelikle komutlarımızı çalıştırabilmek için Powershell’i run as administrator moduyla açtığımızdan emin olalım ve Powershell admin modunda açıldıktan sonra aşağıdaki komut ile ElasticSearch imajını indirelim.
docker pull elastic/elasticsearch:6.2.2
Kullanacağım imaj uyum problemi olmaması için yine elastic tarafından maintain edilen imaj olacak. Pull işlemi tamamlanana kadar aşağıdaki linki kullanarak repository hakkında detaylı bilgi edinebilirsiniz.
Artık aksiyon aşamasına geçebiliriz.. Testlerim sırasında kullandığım imajlarımı, default olarak kullanılan bridge network yerine yine bridge driveri kullanarak oluşturduğum custom bir networkle çalıştırdım. Siz de benim gibi containerları static ipyle çalıştırmak istiyorsanız, aşağıdaki komutları takip etmenizi öneririm. Docker networking konusu detaylı olarak araştırmanız ve test etmeniz gereken bir konu. Bununla ilgili dilerseniz Docker dokümantasyonlarını inceleyebilirsiniz. Ben network layerın detaylarında boğulmadan hızlıca tanımları yapacağım;
Reklam içeren:) bu yeni networku oluşturmak için;
docker network create –driver bridge –subnet=172.18.0.0/24 ogretmenNw
Komutunu kullanmanız yeterli olacaktır. Eğer 172.18.0.0/24 subnetini kullanan başka custom bir network tanımınız yok ise hata almadan yeni network oluşturma işlemini tamamlayabilirsiniz. Komutun işe yarayıp yaramadığını görmek için ise aşağıdaki komutu;
Havalı olsun isterseniz de;
(docker network ls)[-1]
Komutunu kullanabilirsiniz. Powershell çok güçlü bir scripting dili, [-1] ile dizinin son indexine ait değeri bizim için çekip getiriyor, sanırım Python’dan esinlenmişler:) Dağılmadan hemen ElasticSearch kurulumuyla devam edelim…
ElasticSearch kurulumu da Jenkins kurulumu kadar kolay, bu sefer kullanması gereken portu da önceden kontrol ettim ve aşağıdaki komutu çalıştırdım, işte Docker for Windows ile ElasticSearch kurulumu bu kadar kolay…
docker run -p 9200:9200 -p 9300:9300 –network ogretmenNw –name myElastic –hostname myElastic –ip172.18.0.21 -e “discovery.type=single-node” elastic/elasticsearch:6.2.2
Sonraki yazılarımızda kullanacağımız önemli konfigürasyon noktalarını da içeren bu komutla, myElastic isimli yeni bir container oluşturdum. Bu container’in hostname ‘i de display name ‘i gibi myElastic oldu. IP addressi 172.18.0.21 ve 9200-9300 portlarını docker hosta expose ediyor.
Elbette ElasticSearch tek başına ELK Stack için yeterli değil ancak olmazsa olmazı. Peki bu ElasticSearch ü kurduk da ne oldu, nasıl bağlanırız, ne yaparız diyorsanız. Bu amçala kullanmak için Chrome extensionlar arasından ElasticSearch Head plugini kullanabilirsiniz.
Yukarıdaki bölüme http://localhost:9200 yazarak localhost üzerinden Elasticsearch’e bağlantı kurarak, dilediğiniz gibi ElasticSearch ü bozabilirsiniz:) İyi eğlenceler…
TAGs: Container, ElasticSearch,Docker,Docker for Windows, Jenkins,PowerShell,Windows 10, ELK Stack,ELK, Open source, ElasticSearch, Logstash, Kibana,File Beat
ContainerDockerDocker for WindowsElasticSearchELKELK StackFile Beat JenkinsKibanaLogstashopen sourcepowershellwindows 10
windows 7 teması twitter toplu dm silme tsql The Onion Router symantec enterprise vault archive sube sep mac yazilim scvmm 2008 r2 virtual host yaratilmasi routers project server kurulumu paint örnek ses kaydedici uygulama optik fiber hizi ocs 2007 download Multi Factor authentication nasil calisir lotus iso acma işletim sistemi dosyaları isa server rapor hp türkiye adresi hp c7000 nedir domain admins deney 7 cloud a gecis blackberry tablet işletim sistemi blackberry iphone karşılaştırması azure smb paylasim azure private cloud audit 400f güncelleme