Bir Günlük Analizi Çözümü Oluşturma
Amazon Kinesis ve Elasticsearch Service’ı kullanarak günlük verilerini toplama, işleme ve analiz etme
8 Adım | 60 Dakika
Projeyi tamamlama maliyeti: Bu projeyi tamamlamanın tahmini maliyeti 0,51 USD’dir. Bu maliyet, AWS Ücretsiz Kullanım sınırları içinde olduğunuzu, önerilen yapılandırmaları izlediğinizi ve projeyi tamamladıktan sonraki 1 saat içinde tüm kaynakları sonlandıracağınızı varsaymaktadır. Kullanım örneğiniz, faturalarınızı etkileyebilecek farklı yapılandırmaları gerektirebilir. İhtiyaçlarınıza özel olarak maliyetleri tahmin etmek için Fiyatlandırma Hesaplama Aracı’nı kullanın
Aylık Faturalandırma Tahmini: Günlük analiz çözümünüzü oluşturmanın ve kullanılabilir durumda tutmanın toplam maliyeti, kullanımınıza ve yapılandırma ayarlarınıza bağlı olarak değişiklik gösterir. Bu kılavuzda önerilen varsayılan yapılandırmayı kullandığınızda bu projenin maliyeti genellikle aylık 367,74 USD olacaktır.
AWS fiyatlandırması, tek tek hizmet kullanımınıza bağlıdır. Her hizmetin birleşik kullanım toplamı, aylık faturanızı oluşturacaktır. Her hizmetin ne işe yaradığını ve faturanızı nasıl etkileyeceğini öğrenmek için aşağıdaki sekmeleri keşfeden.
Ürün Açıklaması: Amazon Kinesis Firehose; Amazon S3, Amazon Redshift veya Amazon ES gibi hedeflere gerçek zamanlı akış verileri teslim etmek için kullanılan tamamen yönetilen bir hizmettir. Firehose sayesinde, uygulama yazmanıza veya kaynak yönetmenize gerek kalmaz. Veri üreticilerinizi, Firehose’a veri gönderecek şekilde yapılandırmanız yeterlidir. Firehose bu verileri belirttiğiniz hedefe otomatik olarak teslim eder.
Fiyatlandırma Nasıl Uygulanır?: Amazon Kinesis Firehose fiyatlandırması, Amazon Kinesis Firehose’a alınan verinin hacmine dayalıdır. Bu da hizmete gönderdiğiniz veri kaydı sayısı çarpı her bir kaydın en yakın 5 KB değerine yukarı doğru yuvarlanan boyutu olarak hesaplanır. Örneğin, veri kayıtlarınızın her biri 42 KB ise Amazon Kinesis Firehose her kaydı, alınan 45 KB veri olarak sayar. ABD Doğu bölgesinde, Amazon Kinesis Firehose’un fiyatı alınan her GB veri başına 0,035 USD’dir. Fiyatlandırma hakkında ayrıntılı bilgi için bkz. Amazon Kinesis Firehose fiyatlandırması.
Maliyet Örneği: Bu öğreticide, iki ayrı Amazon Kinesis Firehose teslim akışı oluşturacaksınız. Bunlardan biri Apache erişim günlüğü üreticisinden veri alacak, diğeri ise bir Amazon Kinesis Analytics uygulamasından çıktı alacaktır.
Birinci Firehose teslim akışı için üreticinin saniyede 500 kayıt gönderdiğini ve her bir kaydın 5 KB’tan küçük olduğunu (bir Apache erişim günlüğü kaydı genellikle bu boyutlardadır) varsayalım. Firehose teslim akışına veri alımının aylık tahmini maliyeti aşağıdaki gibi hesaplanmaktadır:
ABD Doğu bölgesindeki fiyat alınan her GB veri başına 0,035 USD’dir.
Yukarı doğru en yakın 5 KB değerine yuvarlanmış kayıt boyutu = 5 KB
Alınan veri (GB/saniye) = (500 kayıt/saniye * 5 KB/kayıt) / 1.048.576 KB/GB = 0,002384 GB/saniye
Alınan veri (GB/ay) = 30 gün/ay * 86.400 saniye/gün * 0,002384 GB/saniye = 6.179,81 GB/ay
Aylık ücret: 6.179,81 * 0,035 USD/GB = 216,29 USD
Saatlik ücret: Bu öğreticide, sistemin sadece 1 saattir veri aldığını varsayalım. Bu öğreticiye yönelik maliyet yaklaşık 0,30 USD olur
İkinci Firehose teslim akışı çok daha az sıklıkta kayıt almaktadır. Amazon Kinesis Analytics uygulaması dakikada sadece birkaç satırlık veri çıktısı verdiğinden, bu teslim akışının maliyeti de buna bağlı olarak daha düşüktür. Dakikada sadece beş kayıt alındığı ve her bir kaydın 5 KB’tan küçük olduğu varsayıldığında, teslim akışının maliyeti bu öğreticide öngörülen 1 saatlik süre için 0,00005 USD olacaktır.
Ürün Açıklaması: Amazon Kinesis Analytics, ANSI standart SQL ile akış verilerini gerçek zamanlı olarak işlemenin ve analiz etmenin en kolay yoludur. Amazon Kinesis Streams ve Amazon Kinesis Firehose’tan gelen verileri okumanıza ve verileri ulaştığı anda filtreleyen, dönüştüren ve toplayan akış işleme sorguları oluşturmanıza olanak sağlar. Amazon Kinesis Analytics, standart veri formatlarını otomatik olarak tanır, verileri ayrıştırır ve etkileşimli şema düzenleyiciyi kullanarak düzenleyebileceğiniz bir şema önerir. Bir etkileşimli SQL düzenleyici ve akış işleme şablonları sağlar. Böylece, dakikalar içinde gelişmiş akış işleme sorguları yazabilirsiniz. Amazon Kinesis Analytics, sorgularınızı sürekli olarak çalıştırır ve işlenen sonuçları da verileri Amazon S3, Amazon Redshift ve Amazon ES’e teslim edebilen Amazon Kinesis Streams ve Amazon Kinesis Firehose gibi çıktı hedeflerine yazar. Amazon Kinesis Analytics, sorgularınızı çalıştırmak için gerekli olan kaynakları otomatik olarak tedarik eder, dağıtır ve ölçeklendirir.
Fiyatlandırma Nasıl Uygulanır?: Amazon Kinesis Analytics ile yalnızca kullandığınız kadar ödersiniz. Akış işleme uygulamanızı çalıştırmak için kullanılan Kinesis İşleme Birimlerinin (veya KPU'ların) ortalama sayısına göre saatlik ücret ödersiniz.
Tek bir KPU; 4 GB bellek, 1 vCPU işlem birimi ve karşılık gelen ağ iletişimi kapasitesinden oluşan bir akış işleme kapasitesi birimidir. Sorgularınızın karmaşıklık düzeyi değiştikçe gerek duyulan bellek ve işlem birimi miktarı da değiştiğinden Amazon Kinesis Analytics, analizinizi tamamlamak için gereken sayıda KPU’yu otomatik ve esnek bir şekilde ölçeklendirir. Amazon Kinesis Analytics ile kaynak tedarik etmeniz gerekmez, peşin maliyetlerle karşılaşmazsınız veya herhangi bir minimum ücret yoktur.
Maliyet Örneği: Bu örnekte, sistemin ABD Doğu bölgesinde 6 saat çalıştığı varsayılmaktadır. Bu öğreticideki SQL sorgusu oldukça temel niteliktedir ve en fazla bir KPU kullanılmasını gerektirecektir. ABD Doğu bölgesinde Amazon Kinesis Analytics fiyatı KPU saati başına 0,11 USD olduğundan ve öğretici 6 saat çalıştığından, Amazon Kinesis Analytics kullanımının toplam maliyeti 0,66 USD’dir.
Ürün Açıklaması: Amazon ES, günlük ve tıklama akışı analizi gibi büyük veri kullanım örneklerine yönelik popüler bir açık kaynaklı arama ve analiz altyapısıdır. Amazon ES, Elasticsearch kümelerinin kapasite, ölçek, düzeltme eki ve yönetim görevlerini üstlenmesinin yanı sıra Elasticsearch API’ye doğrudan erişmenize olanak sağlar.
Fiyatlandırma Nasıl Uygulanır?: Amazon ES ile yalnızca kullandığınız kadar ödersiniz. Herhangi bir minimum ücret veya ön taahhüt yoktur. Amazon Elasticsearch bulut sunucusu saatleri, Amazon Elastic Block Store (EBS) hacmi (bu seçeneği kullanırsanız) ve standart veri aktarım ücretleri için ödeme yaparsınız. Daha fazla bilgi için bkz. Amazon Elasticsearch Service Fiyatlandırması.
Maliyet Örneği: Bu öğretici için, Amazon ES etki alanını oluştururken varsayılanları seçtiğiniz farz edildiğinde, toplam maliyet şu şekilde hesaplanabilir: Bir m3.medium.elasticsearch bulut sunucusu tipinin maliyeti 0,094 USD/saat * 1 saat = 0,094 USD’dir.
Ürün Açıklaması: Amazon S3, uygulamanızı oluşturan nesneler için güvenli, dayanıklı ve yüksek oranda ölçeklenebilir bulut depolaması sağlar. Depolayabileceğiniz nesneler arasında kaynak kodu, günlükler, görüntüler ve videoların yanı sıra siz uygulamanızı dağıtırken oluşturulan yapıtlar yer almaktadır. Amazon S3, web üzerinde her yerden dosya depolamak ve almak için nesne depolama kullanımını basit bir web arabirimi ile kolaylaştırır. Böylece, ziyaretçileriniz web sitenize güvenli bir şekilde erişebilir.
Fiyatlandırma Nasıl Uygulanır?: Amazon S3 Fiyatlandırması beş bileşene bağlıdır: kullandığınız S3 depolamasının türü, web sitesi içeriğinizi depoladığınız yer (ör. ABD Doğu veya Asya Pasifik - Sidney), depoladığınız miktar, sizin veya kullanıcılarınızın yeni içerik depolama ya da içerik alma için yaptığı istek sayısı ve S3'ten size veya kullanıcılarınıza aktarılan veri miktarı. Amazon CloudFront ile içerik teslim edeceğiniz için S3 maliyetleriniz depolama temelinde olacaktır. Daha fazla bilgi için bkz. Amazon S3 fiyatlandırması.
Maliyet Örneği: ABD Doğu bölgesinde Standart Depolama kullanıyorsanız, 5 GB içerik depoladığınızda aylık 0,15 USD ödersiniz. Hesabınızı son 12 ay içinde oluşturduysanız ve AWS Ücretsiz Kullanım için uygunsanız, aylık 0,00 USD ödersiniz. Bu öğretici için, üreticinin 5 GB veri oluşturduğunu varsayalım. Kayıtları 6 saat süreyle Amazon S3’te depolamanın toplam maliyeti 0,00125 USD’dir.
Ürün Açıklaması: Amazon EC2, web uygulamanızı istediğiniz platformda çalıştırabilmeniz için bulut sunucuları adı verilen sanal uygulama sunucuları sağlar. EC2, değişen gereksinimleri ve talepleri karşılamak için işlem kapasitenizi kolayca yapılandırmanıza ve ölçeklendirmenize olanak tanır. Amazon'un kanıtlanmış bilgi işlem ortamıyla entegredir ve AWS hizmetlerinden oluşan paketten yararlanmanıza olanak tanır.
Fiyatlandırma Nasıl Uygulanır?: Amazon EC2 fiyatlandırması dört bileşene bağlıdır: seçtiğiniz bulut sunucusu tipi (EC2; işlem, bellek, depolama ve daha fazlası için optimize edilmiş seçeneklerle 40’tan fazla bulut sunucusu tipi ile gelir), bulut sunucularınızın bulunduğu bölge, çalıştırdığınız yazılım ve seçtiğiniz fiyatlandırma modeli (istek üzerine bulut sunucuları, rezerve edilmiş kapasite, spot vb.). Daha fazla bilgi için bkz. Amazon EC2 fiyatlandırması.
Maliyet Örneği: Günlük dosyalarınızın ABD Doğu bölgesindeki tek bir Linux t2.nano EC2 bulut sunucusunda tutulduğunu varsayalım. İstek üzerine fiyatlandırma modeliyle, sanal makineniz için ödemeniz gerekecek aylık ücret 4,68 USD olacaktır. Bu uygulama kılavuzu için, günlük oluşturma bulut sunucusunun 1 saat çalıştığı varsayıldığında EC2 maliyetiniz tahmini 0,0065 USD olacaktır.