Anasayfa ›› nedir ›› Big Data, Büyük Veri Nedir? Nasıl ve Nerelerde Kullanılır?
Admin / 9 Mayıs 2019 / / yorumsuz
1 Big Data, Büyük Veri Nedir? Nasıl ve Nerelerde Kullanılır?
1.1 Big Data’yı önce wikipedi’den okuyalım ve özetleyelim:
1.2 Büyük Veri Devrimi
1.3 Büyük Veri İçerisindeki Veri Bileşenleri
1.4 Büyük Verinin Uygulandığı Örnekler
1.6 Büyük Verinin Artmasının Nedenleri
Big Data (Büyük Veri) son yılların efsane kavramlarından, teorilerinden birisi. Büyük veri hakkındaki bir çok yazıda “Büyük verinin analizleri sonucunda, çalışmalar için daha iyi strateji ve karar verme olanağı sağlanır.” deniyor. Yine yazılım firmaları Büyük Veri eğitimleri ile yazılımsal yollarla işletmelere, medya kuruluşlarına daha etkili pazarlama yolları, daha çok satış, daha çok izleyici vaat ediyor. Yazılımcılara daha iyi iş imkanları ve daha etkili kariyer vaat ediyorlar. Kavramın siyasi yorumu ise karşımıza manipüle edilen zihinleri, inşa edilen rıza kavramını, psikolojik savaş, toplum mühendisliği, algı yönetimi gibi ilgili bir çok kavramı çıkartıyor. Peki nedir bu Big Gata, nereden çıkmış, nerelerde uygulanmakta, hayatımızı nasıl etkilemektedir bu Büyük Veri?
Big Data’yı önce wikipedi’den okuyalım ve özetleyelim:
İlk olarak astronomi ve genetik alanında ortaya çıkan büyük veri kavramı, internetin hayatımıza (evimize ve cebimize) girmesiyle gerçekleşen bilgi artışı ve bilgiye ulaşma (yayma) hızındaki büyük artışla sıradan insan ve günlük hayatın bir parçası olmaya başlamıştır. İnternet ve sosyal medya yoluyla önceleri sadece akademinin, sanayinin, ekonominin ilgi alanına giren, sadece onları etkileyen ve onlar tarafından işlenen-incelenen bir kavram olan Big Data, artık kaçınılmaz bir biçimde hayatımıza girmeye başlamış durumda.
Büyük veri artık hayatımızın her alanında kendini göstermeye başlanmıştır. Örneğin; Ínternet arama motoru Google’dan hastalıkların teşhis ve tedavisi, internet üzerinden alışverişlere kadar her alanda büyük veri karşımıza çıkmaktadır.
Büyük veri; toplumsal medya paylaşımları, ağ günlükleri, bloglar, fotoğraf, video, log dosyaları gibi değişik kaynaklardan toparlanan tüm verinin, anlamlı ve işlenebilir biçime dönüştürülmüş biçimine denir. Big Data, bilimsel ya da endüstriyel ortam, yöntem ve araçlarla belirli bir sistematik ile ilişkisel veri tabanlarında tutulan yapısal verinin dışında kalan, son dönemlere dek çok da kullanılmayan, yapısal ve sistematik olmayan veri yığınıdır.
2500 yıl önceki Sofistleri haklı çıkartırcasına (*) çöp olarak gördüğümüz şeyleri (burada bilgileri-verileri) birilerinin değerlendirmesi ile Büyük Veri efsanesi doğmuş oldu.
Artık yıkılmış olan yaygın bilişimci inanışına göre, yapısal olmayan veri, değersizdi, ama büyük veri bize bir şey gösterdi o da günümüzdeki bilgi çöplüğü diye adlandırılan olgudan muazzam derecede önemli, kullanılabilir, yararlı yani çöplükten hazine çıkmasına neden olan yegane sistemdir.
Günümüz veritabanları bu çapta büyüyen verileri tutmakta yeterli değildir. İlişkisel veritabanları gigabyte seviyesinde veri tutabilirken, büyük data ile petabyte seviyelerinde veriler saklayabiliriz. Ancak büyük data sadece yığın işleme (Batch) işlemleri için uygundur. Transactions gibi gelişmiş veritabanlarında kritik öneme sahip özellikler yoktur. Veritabanları okuma, yazma güncelleme gibi işlemleri transactionlar aracılığı ile yapabildiği için bu işlemler atomik olarak kabul edilir ve çeşitli kilitleme mekanizmaları ile verinin birden fazla işlem tarafından değiştirilerek tutarsızlaşması engellenir.
Büyük veri bir kere yazılıp defalarca okuma işlemi yapıldığı duruımlarda kullanılması gerekir. Çünkü veriler birden fazla yerde paralel olarak işlenir. Bu büyüklükte veri RFID sensörlerinden, sosyal medyaya, hastanelere kadar birçok alanda üretilmektedir. DNA dizilişlerinin analizi, hava durumu sensörlerinden gelen veriler başta olmak üzere verileme işlemlerinin yapıldığı birçok alanda büyük veri bir ihtiyaç olarak karşımıza çıkmaktadır.
2009 yılında domuz gribi olarak adlandırılan salgının (H1N1 virüsü) 1918 yılındaki İspanyol gribi salgınının korkunç hatıralarından dolayı dünya kamuoyunda ciddi bir endişe yarattığı dönemlerde Google bilimsel dergi Nature’da önemli bir araştırma yayımladı. Araştırmanın temeli insanların internet üzerinde yaptıkları aramalara dayanan matematiksel modeller ile gribin ABD’de hangi bölgelere ve hangi yoğunlukta yayıldığını tespit etmekti. İnsanların grip belirtileri başladıktan birkaç gün sonra doktora gitmeleri konuyla ilgilenen sağlık kurumlarının ellerindeki verilerin sağlıklı olmaması gibi bir sonuç doğurmaktaydı. Google elindeki muazzam veri tabanı ve veri işleme kapasitesiyle Amerikan sağlık otoritelerinden daha etkili bir şekilde hastalığın yayılmasıyla ilgili bilgilere ulaşabilmekte idi. Bunun için 450 milyon farklı matematiksel model kullanıldı ve arama terimleri CDC 2007 ve 2008 yılındaki gerçek grip vak’aları ile karşılaştırıldı. Sonuç olarak 45 arama terimi ile resmi yayılma oranları arasında çok güçlü bir korelasyon olduğu tespit edildi. Büyük veri iş dünyasında önemli yeniliklerin ortaya çıkmasına neden olmuştu. Uçak biletlerini alınması büyük veri kullanımına güzel bir örnek olmaktadır. Google tarafından ortaya konulan araştırma internetin bu zamana kadar kamu sağlığı kapsamda kullanılmayan önemli bir yönünü ortaya koymaktaydı. İnternet arama motoru devinin elindeki veri insanlık için çok kıymetli yenilikçi mal ve hizmetlerin ortaya çıkmasına sebep olmaktaydı.
İşleme gücü ve veri depolamanın birkaç yıl öncesine kadar çok pahalı olması bu tür yeniliklerin ortaya çıkmasını zorlaştırmaktaydı. Ancak gerek teknolojinin gelişmesi gerekse zihniyet değişikliği veriyi önemli bir ekonomik değeri olan önemli bir iş girdisi şekline dönüştürmüştür. Bilgisayarlar bundan 50 yıl öncesinde insan hayatına girmiş olmasına rağmen toplanan veri miktarı ancak bu minvaldeki büyük değişikliklere sebep olacak seviyeye son birkaç yıl içinde ulaşmıştır. Genom olarak adlandırılan genetik haritamız 2003 yılında çizilmiş ancak 3 milyar çiftten oluşan halkaların sıralanabilmesi 10 yıl kadar sürmüştür. Bugün bu sayıdaki DNA’lar sadece bir günde sıralanabilmektedir. ABD’de her gün yaklaşık 7 milyar hisse senedi el değiştirmekte ve bu işlemlerin üçte ikisi devasa verileri analiz matematiksel modellere dayanan algoritmalar tarafından yapılmaktadır.
Özellikle sosyal bilimler alanında insanlar arama yaptıkları terimler ya da Facebook gibi sosyal paylaşım sitelerindeki “beğen” tıklamaları insanların tercihleriyle ilgili önemli ipuçlarını ortaya koymaktadır. Bu veri özellikle şirketlerin pazarlama stratejilerinde çok önemli bir girdi olarak yerini almaya başlamıştır. Devasa verilerin artık çok aha etkin bir şekilde işlenebilmesi ticari hayatın pek çok alanını derinden etkilemiştir. Verilerden elde edilen korelasyonlar Wal-Mart ve Amazon.com gibi pek çok ülkenin milli hasılasından daha fazla satış yapan şirketlerin ortaya çıkmasına neden olmuştur.
Artık elde edilen ve işlenen veriler ile korelasyon temelli bir dünyaya gidildiği yönünde değerlendirmeler yaygınlık kazanmaktadır. Bu değerlendirmelere göre verilerin kısıtlı olduğu eski zamanlarda bilim adamları teorilere ihtiyaç duymaktaydı ama günümüzde artık veriler konuşmakta ve teorilere ihtiyaç bulunmamaktadır. Bu yüzden bilimsel metodolojinin de internet vasıtasıyla elde edilen veriyi işleme kapasitesine sahip bilgisayarlar sayesinde değişeceği iddia edilmektedir. Ark korelasyonun nedenselliğin yerini alacağı ve niçin sorusundan ziyade “ne” sorusunun önem kazanacağı ifade edilmektedir.
İnternet’in şüphesiz en önemli katkılarından birisi bilgiye erişim noktasındadır. Bilgi çeşitli formlarda sunuluyor olmasına rağmen klasik yöntem olan kitaplar vasıtasıyla bilgiye erişim konusunda da internet çok önemli gelişmelere vesile olmuştur. Kitapların internet üzerinden araştırılması ve adrese teslim kargolama şeklinde ulaştırılması internet öncesine göre çok önemli bir katkı olarak karşımıza çıkmaktadır. Ayrıca kitapların google gibi şirketler tarafından dijital ortama aktarılması kitaplara erişim konusundaki sınırları ortadan kaldırmaktadır. Bu zamana kadar 130 milyon başlıkta farklı kitabım yayımlandığı ve bu kitapların yaklaşık 20 milyonunun (yaklaşık %15) Google tarafından dijital ortama aktarıldığı görülmektedir. İnternet vasıtasıyla bilgi toplama sadece pasif bir toplayıcı olmaktan öteye gitmektedir. Örneğin ReCaptcha denilen bir uygulamada kullanıcıların gerçek insanlar olduğunu doğrulamak için daha önce rastgele harflerin yazılmasıyla yapılan doğrulamaların hem bu amacın gerçekleştirildiği hem de bilgisayarlar tarafından okunamayan kelimelerin ücretsiz olarak kullanıcılar tarafından okunduğu görülmektedir. Böylece güvenlikle ilgili bir yeniliğin katma değeri olan başka bir uygulamaya evrildiği görülmektedir. Bu örnek veri toplama ve kullanımıyla ilgili tüm alanlarda görülmektedir. Veri bir defa kullanılıp atılan ya da zamanla değeri kaybolan bir ticari emtiadan ziyade gelişen teknoloji ile her zaman yeni kullanım alanları bulan bir varlık konumundadır. Google’nin sokak görüntüleri için topladığı devasa bilgi sadece Google Earth uygulaması için değil aynı zamanda GPS hizmetleri için kullanılmaya başlanmıştır. Şirket ayrıca sokaklardaki Wi-Fi bağlantılarının envanterine de sahip olmuştur. Arama motorlarında yapılan aramalar buna güzel bir örnek teşkil etmektedir. Arama motorlarındaki istatistikleri kullanarak yeni yıldaki moda eğilimlerinden ev fiyatlarındaki dalgalanmalara kadar pek çok hususta tahminler yürüten çok sayıda şirket ortaya çıkmaktadır.
İnternetin olumsuz etkilerinden bahsedilirken sıkça tekrarlanan husus özel hayatın gizliliğinin sıkça ihlal edildiğidir. Soğuk savaş dönemindeki komünist blokta yer alan ülkelerin kendi vatandaşlarını izlemek için devasa büyüklükte casusluk şebekeleri kurduğu bilinmektedir. Doğu Almanya’da faaliyet gösteren Stasi (Staatssicherheit, State Security) kurduğu ve yüzbinlerle ifade edilen çalışanı ile neredeyse tüm Doğu Alman vatandaşlarını izlemiştir. İnternetin ortaya çıkmasıyla birlikte artık bu tür izleme faaliyetleri hem kolaylaşmış hem de son derece kapsamlı hala gelmiştir. Ayrıca önceden sadece istihbarat örgütleri tarafından gerçekleştirilen bu tür faaliyetler hayatımızın vazgeçilmez bir parçası haline gelen internet siteleri tarafından kullanıcının kendi isteğiyle verdiği bilgiler vasıtasıyla çok daha kapsamlı olarak uygulanmaktadır. Facebook bizim sosyal ilişkilerimiz dâhil nelerden hoşlandığımızı, Google arama alışkanlıklarımızı, Twitter aklımızdan geçirdiklerimizi, e-ticaret siteleri de alışveriş alışkanlıklarımızı bilmektedir. Mobil işletmeciler kiminle ne konuştuğumuzu ve hatta tatillerimiz ve boş vakitlerimizi kiminle geçirdiğimizi ve hangi arkadaşımıza ne kadar yakın olduğumuzu bilmektedir. Yalnızca şirketler değil devletlerinde vatandaşlarının internet üzerinden gerçekleştirdikleri işlemleri izleme kapasitesi önemli oranda artmıştır. Amerikan Güvenlik Ajansı (NSA, National Security Agency) tarafından yapılan bu izlemelerle ilgili pek çok skandal ortaya çıkmıştır.
Value (Değer): En önemli bileşen ise değer yaratması. Bütün yukarıdaki eforlarla tariflenen Büyük Veri’nin veri üretim ve işleme katmanlarınızdan sonra kurum için bir artı değer yaratıyor olması lazım. Karar veriş süreçlerinize anlık olarak etki etmesi, doğru kararı vermenizde hemen elinizin altında olması gerekiyor. Örneğin sağlık konusunda stratejik kararlar alan bir devlet kurumu anlık olarak bölge, il, ilçe vb detaylarda hastalık, ilaç, doktor dağılımlarını görebilmeli. (Örneğin, Tarım Bakanlığının yıllık soğan, patates v.b. ihtiyacı ile hangi bölgelerde kaç dönüm araziye patates, soğan v.s. ekildiği bilgisine doğru ve hızlı bir biçimde ulaşabilmeli. Soğanın kilo fiyatının Muz ile yarışmaması için.) Hava Kuvvetleri, bütün uçan araç envanterindeki taşıtlarının anlık yerlerini ve durumlarını görebilmeli, geriye dönük bakım tarihçelerini izleyebilmeli. Bir banka, kredi vereceği kişinin, sadece demografik bilgilerini değil, yemek yeme, tatil yapma alışkanlıklarını dahi izleyebilmeli, gerekirse sosyal ağlarda ne yaptığını görebilmeli.
İnternetin çok defa fazla kişi tarafından kullanılır olması, günlük yaşamda aldığımız hizmetlerin, internet üzerine taşınan uygulama yazılımları yoluyla kolayca erişilebilir olması nedeniyle oluşan yaygın kullanım, özellikle hizmet sektöründe satış sonrası müşteri memnuniyeti sağlama ereğine yönelik olarak, son kullanıcıların her türlü bilgisinin firmalarca alınıp saklanması sonucunu doğurdu. Saklanacak ayrıntılı bilgilerin, üzerinde tutulacağı sayısal ortamlarda başgösteren “yer darlığı” yeni arayışlar için başlangıç oldu. Son birkaç yılda öne çıkan yeni yapıyı özetlersek: İşletmeler; müşterilerini daha iyi tanıyıp, onlara “bireyselleştirilmiş – kişiye özel” hizmetleri sunabilmek için onlarla ilgili çok sayıda bireysel bilgiyi saklamak durumunda kalmaktadır.
Eğitim; Öğrenme süreçlerinin bireyselleştirilmesinde öğrenme analitikleri kullanılarak büyük veri işlenmekte, öğrenenlerin öğrenme ihtiyaçlarına, davranışlarına ve ortaya çıkan örüntülere göre öğrenme süreçleri tasarımlanabilmektedir.
Hükümetler; yurttaşlarına yönelik bilgi ve hizmetleri işleyip, saklama konusunda oluşan çok büyük ölçekli veri ile çalışmak zorundadırlar. Örneğin, RTÜK kararları gereği, ülkemizdeki televizyon kanallarının son bir yıllık yayınlarını saklama zorunluluğu var. Saklanacak bilgiler, “Büyük Veri” olarak tanımladığımız türden.
İlaç sanayisinde; örneğin “kanser araştırmaları” için oluşturulan büyük genomik veritabanları, araştırmacıların sürekli erişimine açık olmak durumundadır.
Ek olarak; Uydu/Harita Dizgeleri (GPS), Akıllı Gezgin Telefonlar (GSM), çok yüksek çözünürlüklü fotoğraflar çekebilen yeni nesil kameralarla üretilen, ses ve görüntü bilgileri; saklama ortamlarının sınırlarını zorlayıp, verimliliklerini düşürüyor. Her türlü gezgin aygıtlar üzerinde çalışabilen, internet tabanlı yazılım ve uygulamalarca üretilenlerle birlikte, Facebook, Twitter gibi toplumsal medya ortamlarında kullanıcılarca üretilen bilgilerin saklanması gereği, bilişim konusu ile ilgili girişimcileri de, Büyük Veri alanına itti. Saydığımız, bu hemen usumuza geliveren örnekler ve benzerlerince üretilen; işlenmesi, saklanması ve irdelenmesi önceki nesil veritabanlarından ayrımlı yöntemler gerektiren büyük ölçekli verilere, kısaca Büyük Veri’ye odaklanıyoruz artık.
“İçinde bulunduğumuz Büyük Veri çağında yatırımcılar, teknoloji girişimcileri, medya ve danışmanlık şirketleri Büyük Veri konusuna odaklanarak, yeni fırsatlar yakalıyor. Bulut Barındırma çözümlerinin basitleşip ucuzlayarak genele yayılması, veri işleme konusundaki ekonomik dengeleri temelden değiştirdi. Yakın geleceğin en önemli teknoloji piyasasının Büyük Veri üzerinde oluşması, önümüzdeki beş yıl içinde de bu pazarın elli milyar doları aşması bekleniyor. Dünya çapında yıllık veri hacmindeki büyüme %59 ve büyümenin artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC dijital kayıtların bu sene sonunda 1.2M Zetabytes (1021bytes)’a ulaşacağını, önümüzdeki on sene içinde de 44 katına çıkacağını tahmin ediyor. Bir önceki paragrafta bahsettiğimiz büyümenin asıl kaynağı yapısal olmayan verilerden geliyor. Yapısal olmayan verilerin yaklaşık %80′nin değersiz olduğuna dair mit ise gerek arama motorlarının gerekse de e-ticaret yapan kurumların tıklama verisini takip ederek ulaştıkları başarı sonrasında çürütülmüş görünüyor. Asıl gereksinim ise yapısal ve yapısal olmayan verinin saklanması, beraberce analiz edilerek, veri madenciliği işlemlerine tabi tutulması.
Büyük Verinin Artmasının Nedenleri
Veri miktarı oluşumundaki hızlı artışın temel nedeni ise sosyal ağ etkileşimlerinin büyüyen hacmi, lokasyon duyarlı cihazların artması ve fiziksel dünya hakkında bilgi yakalayan ve ileten “akıllı sensörler”in sayısındaki artış olarak özetlenebilir. Tabii ki bunlara video ve medya kaynakları da eklenebilir.
Son birkaç yılda mobil teknoloji ve sosyal medyadaki gelişmeler ile birlikte gerçek zamanlı datanın önemi artmış, datanın hacminin yanında çeşitliliği ve data artış hızı da bu gelişmelerden etkilenmiştir. Akıllı telefonların kullanım oranındaki artış, internete 7/24 erişim olanağı sağlamasının yanı sıra Whatsapp gibi online mesajlaşma uygulamaları ile Facebook, Twitter ve Instagram gibi sosyal medya uygulamaları, anlık mesaj, fotoğraf ve video paylaşımlarını artırmış, GPS teknolojisi sayesinde ise lokasyon bazlı data üretimini mümkün kılmıştır. DOMO’nun her yıl yayımladığı Data Never Sleeps raporunun 2014 versiyonunda açıklanan rakamlara göre dakikada 277.000 tweet atılırken, Instagram’da 216.000 yeni fotoğraf yükleniyor ve Youtube’a 72 saatlik video kullanıcılar tarafından upload ediliyor. Data üretimindeki artışın boyutlarını daha net olarak anlamak için aynı raporun 2011 rakamları incelenirse, dakikada yaklaşık 100.000 tweete karşılık Instagram’da sadece 3600 fotoğraf yüklendiği ve Youtube’a yaklaşık 48 saatlik video upload edildiği görülebilir. (wikipedia)
Big Data konulu bir haber:
“WhatsApp uygulamasını Facebook’un 16 milyar dolar vererek satın almasının arkasında yatan gerçeği iyi analiz etmemiz gerekiyor.
‘Big Data’ denilen bir kavram var. Sizin bilgileriniz üzerinden neleri sevdiğiniz, alışverişte nelere dikkat ettiğiniz, nelerden hoşlanmadığınız, siyasi partilerin hangisine oy verebileceğiniz ve hangi noktalarda kararsız olduğunuz gibi sizi siz yapan tüm unsurları analiz eden bir sistem var karşınızda.
Çağımızda bilgi o denli önemli ki, bu nedenle ücretsiz olarak kullanabildiğimiz bir program milyarlarca dolar ediyor. Eğer bir ürünü ücretsiz kullanıyorsanız ürünün bizzat kendiniz olduğunu bilmeniz lazım.” (Whatsapp bir güvenlik meselesi haberin tamamı)
(*) “Ey insanlar desek ‘kötü ve işe yaramaz dediğiniz, zararlı dediğinizi ne varsa getirin bu meydana yığın’ desek ve insanlar meydana yığdıktan sonra desek ki, ‘şimdi bunları yakmadan önce işinize yarayanları alın’ desek geriye hiçbir şey kalmamacasına hepsi alınır. Kimi toplumlarda işkence amacıyla vücuda iğne batırılır, kimisinde tedavi için, kimisinde ise süs amacıyla.” M.Ö. 500’ler Bir Sofist Filozof
Etiketler Big Data Büyük Veri Nedir? Nasıl ve Nerelerde Kullanılır?
Önceki Yazı Alg patlaması (kızıl akın) nedir?
Sonraki Yazı Hungarikum nedir? Hun Türkleri ile ilgisi var mıdır?