microsoft stream data hizmeti arşivleri - Abdullah Altıntaş - MVP, MCT, MCSE (Data Platform & Business Intelligence)Abdullah Altıntaş – MVP, MCT, MCSE (Data Platform & Business Intelligence)
Etiket arşivi: microsoft stream data hizmeti
Yayın tarihi 20 Ağustos 2016 abdullah
Advanced Data Analytics konu başlığı altında daha önce ele aldığımız makalelerde stream olarak gelen, akan verilerin Microsoft Azure Event Hubs servisi ile elde edilebileceğini ve Microsoft Azure Stream Analytics servisi ile bu verilerin analiz edilebileceğini ele almıştık. Stream Analytics’ten çıkan bu verilerin de Microsoft Power BI ürünü ile bağdaştırılarak gerçek zamanlı olarak raporlanabileceğini göstermiştik. Bu konuda daha önce yazmış olduğumuz makalelere aşağıdaki linklerden erişebilirsiniz:
Stream olarak akan verinin analizi yapıldıktan sonra gerçek zamanlı olarak raporlanması ihtiyacının dışında, daha sonra tekrar ele alınabilmesi için bir veri tabanında depolanması ihtiyacı da karşımıza çıkabilir. Bu makalemizde stream olarak akan verinin Event Hubs ile elde edilmesi ve Stream Analytics ile analiz edilmesinin ardından Azure SQL Database‘de nasıl depolanabileceğini ele alacağız.
Serinin önceki yazılarında kullanmış olduğumuz uygulamayı kullanarak aynı şekilde click stream verisini üreteceğiz ve daha önceki makalemizde ele aldığımız üzere Azure Event Hubs ile bu veriyi elde edeceğiz.
Yine serinin önceki yazılarında ele aldığımız üzere Event Hubs ile elde edilen veriyi Stream Analytics ile analiz edeceğiz. Burada sadece farklı olarak Stream Analytics job’ının output kısmında Power BI yerine Azure SQL Database tercihini yapacağız. Böylelikle analiz edilen veriyi Azure SQL Database içinde oluşturulan tabloda depolayabileceğiz.
Verilerin Azure SQL Database hizmetinde tutulabilmesi için bu aşamada ya var olan hazır bir Azure SQL Database servisini kullanarak ya da yeni bir Azure SQL Database oluşturarak işlemlerimizi tamamlıyoruz. Yeni bir Azure SQL DB oluşturabilmek için Azure portal üzerinde alt tarafta bulunan New sekmesine tıklıyoruz ve Data Services altında bulunan SQL Database hizmetini seçiyoruz. Quick Create ile veya Custom olarak oluşturacağımız database’e bir isim veriyoruz. Örneğimizde biz “altintasdb” adını vermiş olduk. Ayrıca oluşturulma aşamasında yetkili bir kullanıcı adı ve şifreyi belirleyerek ilerliyoruz.
Azure SQL Database servisi oluşturulduktan sonra erişim için gerekli izinlerin ve firewall kurallarının oluşturulması gerekmektedir. Lokal bilgisayarımızda bulunan SQL Server Management Studio (SSMS) ile Azure SQL Database’e bağlanabilmek için kullanmakta olduğumuz IP adresine erişimi açmamız gerekmektedir. Bu işlemi Azure SQL Database sayfasında bulunan Server kısmındaki Configure tabına gelerek Ip Rule (Add rule diyerek) tanımlayabilirsiniz. Aynı zamanda Azure SQL Database’in diğer Azure servisleri tarafından kullanılabilmesi için de aynı sayfanın alt kısmında bulunan izin verme kısmında gerekli seçeneği Yes olarak işaretleyerek aktif hale getiriyoruz. İlgili değişiklikleri yaptıktan sonra sayfanın altında bulunan Save butonu ile değişiklikleri kaydediyoruz.
Bu aşamadan sonra Azure SQL Database hizmeti kullanıma hazır hale gelecektir. İlgili database’e daha rahat erişim için SSMS üzerinden gerekli connection’ı oluşturuyoruz. Burada server name kısmına Azure portal üzerinden database sekmesinde bulunan Server Name’i ([uniqueisim].database.windows.net şeklinde olacak) yazarak bağlanıyoruz. Ayrıca Azure SQL Database’e bağlantı için Windows Authentication desteklenmediği için SQL Authentication seçerek Azure SQL Database oluştururken girilen yetkili kullanıcı adı ve şifresini yazarak bağlantı sağlıyoruz.
Bağlantıyı oluşturduktan sonra Azure SQL Database’de bulunan altintasdb‘nin altında altintas_table isminde akan verilen tutulacağı bir tablo oluşturuyoruz. Tablonun create scripti aşağıdaki gibi olacaktır:
CREATE TABLE altintas_table
Zaman nvarchar(50) primary key,
Bu kodu çalıştırarak ilgili verilerin tutulacağı altintas_table oluşturulduktan sonra artık Azure Stream Analytics‘in output seçeneğini ayarlayabiliriz. Bunun için Azure portal üzerinde Stream Analytics servisinin output sekmesine geliyoruz ve aşağıdaki şekilde Azure SQL Databse seçeneğini seçiyoruz.
Bir sonraki gelen ekranda output alias, database name, username, password ve table name alanlarını daha önce konfigure ettiğimiz şekilde girerek işlemi aşağıdaki şekilde tamamlıyoruz.
Bu aşamadan sonra artık ilgili Stream Analytics job’ını çalıştırarak akan verilerin output olarak database’e kaydedilmesini sağlayabiliriz. Serinin daha önceki yazılarında belirtildiği gibi job’ın bulunduğu sayfanın alt kısmında bulunan Start butonuna tıklayarak ilgili job’ı başlatabilirsiniz.
Buraya kadar yapılan işlemler başarılı bir şekilde tamamlandıysa ve Stream Analytics job’ı başarılı bir şekilde başlatılabildiyse uygulamamız üzerinde gerçekleştirilen click’ler anlık olarak Event Hubs tarafından toplanacak, Stream Analytics ile analiz edilecek ve ardından tanımlanan output ile Azure SQL Database’de bulunan altintas_table ismindeki tabloya kayıt edilecektir. Tablomuzu aşağıdaki gibi sorgulayıp verilerin geldiğinden emin olalım:
Görmüş olduğunuz gibi uygulama üzerinde yapılan her bir tıklamaya ait veriler oluşturulan tabloya kaydedilmektedir. Tıklamayı geçekleştiren kullanıcının adı, tıklanan remin adı, tıklamanın gerçekleştiği zaman, tıklanan remin X ve Y koordinat bilgileri ilgili tabloya satır satır kaydedilmektedir.
Bu yazımızda Azure Event Hubs, Azure Stream Analytics ve Azure SQL Database çözümlerini kullanarak akan verinin analiz edilmesi ve ardından bir veritabanında saklanması için gereken çözümleri ele almış olduk. İlerleyen günlerde Advanced Data Analytics konu başlığı altında yeni yazılarımızla yine birlikte olmak üzere…
Advanced Data Analytics, Genel, Microsoft SQL Server kategorisine gönderildi | Abdullah ALTINTAŞ, abdullahaltintas, advanced data analytics, Azure SQL database, azure sql database ayarları, azure sql database demo, azure sql database hizmeti, azure sql database kullanımı, azure sql database nasıl oluşturulur, azure sql database servisi, azure sql databse nedir, azure sql db ayarları, azure sql db demosu, azure sql db nasıl oluşturulur, azure sql db örnek, azure sql veritabanı ayarları, azure sql veritabanı demo, azure sql veritabanı örnek, azure stream analytics to azure sql database, microsoft azure advanced data analytics çözümleri, microsoft stream data hizmeti, microsoft stream veri çözümleri, ms sql, MS SQL Server, sql, Sql Server, stream analytics, stream analytics output to azure sql database, stream analytics verinin sql database kaydedilmesi, stream verinin veritabanın akyadedilmesi, t-sql ile etiketlendi | Bir Cevap Yazın
Yayın tarihi 3 Mayıs 2016 abdullah
Advanced Data Analytics, Genel, Microsoft SQL Server kategorisine gönderildi | Abdullah ALTINTAŞ, abdullahaltintas, advanced data analytics, azure stream analytics konfigürasyonu, microsoft stream data hizmeti, microsoft stream veri çözümleri, MS SQL Server, Sql Server, stream analytics, stream analytics ayarları, stream analytics monitör etme, stream analytics ölçeklendirme ile etiketlendi | Bir Cevap Yazın
Yayın tarihi 29 Nisan 2016 abdullah
Serinin daha önceki yazılarında Microsoft Azure Event Hubs ve Stream Analytics servisleri kullanılarak real-time olarak akan büyük miktardaki stream verilerinin elde edilmesini ve analiz edilmesini örnek üzerinde gerçekleştirmiştik. Bu yazımızda ise Stream Analytics servisinden output olarak Power BI‘a bağladığımız analiz edilen verinin anlık olarak gerçek zamanlı olarak Power BI portali üzerinde görüntülenmesini örnekleri ile ele alacağız.
Yazılan uygulama üzerinde kullanıcıların sayfada ilgili bölümlere tıklamalarıyla oluşan click stream verilerinin Event Hub ile elde edilmesi sağlanmış, oluşturulan Stream Analytics job’ı bu verileri Event Hub’dan input olarak almış ve yazılan sorgu ile analiz edilmiş ve son aşamada da Power BI output ile analiz edilen çıktılar Power BI hesabına çıktı olarak bağlanmıştır. Artık bu aşamada gerçek zamanlı olarak üretilen tıklama verileri Power BI portali üzerinden raporlanabilecek ve panolarda (Dashboard) anlık yenilenme ile click stream verileri güncel olarak gerçek zamanlı yansıtılabilecektir.
Microsoft Power BI Portaline Giriş:
Power BI portaline giriş yapabilmek için https://powerbi.microsoft.com/en-us/ linkine giriş yapılmalı ve kullanıcı adı ve şifre bilgileri girilmelidir.
Açılan sayfada Sign In butonuna tıklayarak giriş yapılmalı ve Azure Stream Analytics job’ının output kısmını oluştururken verilen kullanıcı adı ve şifre bilgileriyle giriş yapılmalıdır.
Microsoft Power BI Portal Özellikleri:
Uygulama tarafında kullanıcılar sayfanın belirli bölümlerine tıkladıkça oluşan click stream verileri bu şekilde Event Hub’a aktarılacak ve Stream Analytics job’ı input olarak aldığı bu verileri yazılan sorgu ile analiz edecek ve son aşamada da Power BI ortamına rapor ve panolar oluşturulabilmesi için data set olarak aktarılacaktır. Power BI portaline giriş yapıldığında sol taraftaki menüde Çalışma Alanım (My Workspace), Panolar (Dashboards), Raporlar (Reports), Veri Kümeleri (Datasets) çıkmaktadır. Stream Analytics job’ı hatasız bir şekilde çalışıyor ve verileri Power BI’a aktarıyorsa Datasets kısmında oluşturulan output dataset otomatik olarak çıkacaktır. Örneğimizde Power BI output oluşturulurken verilen “altintasdataset” ismindeki veri kümesi otomatik olarak sol tarafta listelenmiştir.
Power BI ile Rapor ve Pano Oluşturma:
Power BI portalinin sağ tarafında ise oluşturulan tabloya (altintastable) ait kolonlar, rapor formatı seçebilmek için kullanabileceğimiz görsel öğeler ve raporlara filtre eklemek için kullanabileceğimiz filtreler kısımları bulunmaktadır. Power BI portalinde ortadaki kısım ise raporları oluşturabileceğimiz, sürükle bırak yöntemiyle hızlıca görselliği kuvvetli raporlar geliştirebileceğimiz çalışma alanımızdır.
Oluşturduğumuz Microsoft Azure Stream Analytics job’ı tarafından gelen veri setini kullanarak raporlar oluşturulabilmekte ve panoya sabitlenebilmektedir. Bu işlemler sadece bir kaç mouse tıklaması ve sürükle bırak yöntemiyle yapılabilmektedir. Örneğimizde tıklanan resme ait kaç adet tıklama yapıldığının sayısını elde etmek için bir sütun grafik oluşturulmuştur. Bu rapor hangi resme kaç kez tıklandığını göstermektedir.
Raporun dizaynı tamamlandığında sağ üst kısmında bulunan iğneye tıklayarak raporu panoya (dashboard) sabitlemek (pinlemek) mümkün olabilmektedir. Bu iğneye tıklandığında Panoya Sabitle ekranı açılmakta ve bizlere var olan bir panoya mı yoksa yeni oluşturulan bir panoya mı pinlemek istediğimiz sorulmaktadır. Uygun olan seçenek seçilerek oluşturulan rapor panoya pinlenir.
Power BI portalının sol tarafında yer alan Panolar kısmının altında oluşturduğumuz “pano” görünmektedir. Bu panoya tıklandığında raporun bu pano üzerine sabitlendiği görünebilmektedir. Bu şekilde oluşturulan raporlar panolara sabitlenerek tek bir yerden bütün ilgili raporların takip edilmesi sağlanabilmektedir. Üstelik bir yandan kullanılmaya devam eden uygulamadan üretilen click stream verileri de anlık olarak gerçek zamanlı bir şekilde panodaki raporlara yansımakta ve otomatik refresh özelliği ile veriler anlık olarak ekrana yansıtılmaktadır.
Power BI portal kullanılarak hızlı bir şekilde raporlar oluşturulabilmekte ve istenilen raporlar panolara sabitlenebilmektedir. Bunun için yapılması gereken tek şey ilgili dataset üzerine gelerek ilgili tablo üzerindeki alanlardan seçim yapmak, seçilen kolonlardaki değerleri hangi rapor formatında sunmak istediğinizi seçmek yetmektedir. Ardından oluşturulan raporlar içinden panoya sabitlemek istenilen raporlar için pin tuşuna tıklayarak raporları panoya pinleyebilmek mümkün olmaktadır.
Power BI portalinin en göze çarpıcı, etkileyici özelliklerinden birisi de “soru sorma” kısmıdır. Pano üzerinde üst kısımda yer alan soru sorma alanında belirli anahtar kelimeleri ve kolon adlarını kullanarak pratik, hazır raporlar oluşturabilmek mümkündür. İngilizce belirli anahtar kelimeler kullanarak bir nevi soru sorarak hazır raporlar üretmek çok basit ve eğlenceli bir şekilde yapılabilmektedir.
Üstelik soru sorma kısmında yazılar yazılırken otomatik tamamlama (intellisense) desteği de sağlanarak rapor için yazacağınız soruda sizlere kolaylık sağlanmaktadır. Örneğimizde resimlere tıklanma adetini pasta grafik olarak getirmek üzere yazılmakta olan bir soru görünmektedir. Soru yazılmaya devam ettikçe alt kısımda rapor kendiliğinden oluşmaktadır.
Başka bir örnekte ise zaman kolonunun adet bilgisini almak için yazılan bir soru bulunmaktadır. Toplam tıklanma sayısını verecek olan bu soru tamamlandığında ve oluşan rapor panoya sabitlenmek istenildiğinde soru sorma kısmının sağ tarafında bulunan pin tuşuna tıklanarak panoya sabitleme işlemi gerçekleştirilebilmektedir.
Bütün raporlar oluşturulduktan sonra, istenilen raporlar panoya sabitlenerek görsel açıdan kuvvetli, istenilen bilgileri tek bir ekranda farklı raporlar aracılığıyla gösterilebilecek bir pano oluşturmak mümkündür. Örneğimizde, resim adlarına göre kaç adet tıklandığını gösteren bir sütun grafik, resimlerin sayfa koordinat düzenine göre neresine tıklandığını gösteren bir XY-Dağılım grafiği, resimlerin tıklanma adetlerini gösteren bir pasta grafiği büyük olarak panomuzda yer almaktadır. Ayrıca daha küçük bir formatta olacak şekilde resim adlarına göre dağılımı veren bir huni grafiği, tıklanma sayısını veren bir ölçek grafiği, resim adlarına göre dağılımı veren halka grafiği ve toplam tıklanma sayısını gösteren bir kart grafiği panoda sabitlenmiştir. İstenilen raporlar kenarından tutup sürüklenerek boyut olarak küçültülüp büyültülebilmektedir. Böylelikle istenilen raporlar istenilen formatta panolarda yer alabilmektedir.
Raporların Güncellenmesi ve Gerçek Zamanlı Verinin Gösterilmesi:
Power BI portali kullanılarak oluşturulan bu panolar ve raporlar anlık olarak uygulamadan gelen click stream verilerini gerçek zamanlı olarak refresh ederek sunmaktadırlar. Bu sayede oluşturulan panolar ile gerçek zamanlı veri takibi rahatça yapılabilmektedir. Uygulama kullanılmaya devam ettiğinden gelmeye devam eden veriler panolardaki raporlarda anlık olarak değişecek ve ekranda değişiklikler gözlemlenebilecektir.
Bu yazımızda anlık olarak akan stream verinin gerçek zamanlı olarak Power BI portali üzerinde dashboard’lar ile görüntülenmesini uygulamalı olarak ele aldık. Event Hubs, Stream Analytics ve Power BI kısmını anlattığımız bu yazı serisindeki ilgili makaleleri sırayla bir sonraki yazımda sizlerle paylaşacağım.
Advanced Data Analytics, Genel, Microsoft SQL Server kategorisine gönderildi | Abdullah ALTINTAŞ, abdullahaltintas, advanced data analytics, azure event hub veri elde etme çzöümü, microsoft azure advanced data analytics çözümleri, microsoft stream data hizmeti, ms sql, MS SQL Server, power bi ile gerçek zamanlı raporlama, power bi ile gerçek zamanlı yenilenen panolar oluşturma, power bi ile pano oluşturma, power bi ile rapor ve pano oluşturma örneği, power bi real time dashboard example, power bi real time dashboard örneği, powerbi ile rapor oluşturma, sql, Sql Server, stream analytics, t-sql ile etiketlendi | Bir Cevap Yazın
Yayın tarihi 1 Şubat 2016 abdullah
Advanced Data Analytics, Genel, Microsoft SQL Server kategorisine gönderildi | advanced data analytics, azure event hub veri elde etme çzöümü, event hub ve stream analytics çözümü, event hub ve stream analytics uçtan uca mimarisi, microosft big data çözümleri, microsoft azure event hub çözümleri, microsoft stream data hizmeti, microsoft stream veri çözümleri, Sql Server, stream analytics, stream analytics ve event hubs özellikleri ile etiketlendi | Bir Cevap Yazın