VERİ BİLİMİ YOLCULUĞUNA İLK BAKIŞ
Merhabalar herkese Medium’da ilk yazımı sizlerle paylaşmaktayım. Artık sizlerle birlikte daha sık bir araya geleceğiz. Yazılarıma ve serilerime devam ediyor olacağım.
Bugünkü konumuz herkesin merak saldığı ve hali hazırda tüm dünyanın üzerine yoğunlaştığı Veri Bilimi dünyasına bir bakış atacağız.
Bilindiği üzere son zamanlarda özellikle pandemi süreci ile birlikte birçok insan evlerinde uzaktan çalışmalarına devam ediyor. Normal hayatta kişisel gelişimlerine vakit ayıramayan insanlar bu süreçte oldukça fazla vakit ayırıp kendilerini geliştirmeye çalışmaktalar. Bende bu sürece katılarak kendimi yıllardır hayalini kurduğum ve merak saldığım Veri Bilimi alanına giriş yapabilme fırsatı yakaladım. Bugün sizlerle birlikte Veri Bilimi Nedir? Veri Bilimci Kimdir? gibi sorulara yanıt aramaya çalışacağız. Gelin birlikte başlayalım…
Aslında Veri Bilimini anlatmadan önce bu işin en temelinde yatan kısım Veri Nedir sorusu olacak. Veri bilgisayar ortamında bulunan bilgilerin, programlar tarafından işlenebilmesini sağlamak amacı ile derlenmiş ve formüle edilmiş şekline denir . Birçok farklı veri türleri bulunmaktadır. Genel anlamda veriyi bu şekilde tanımlayabiliriz. Peki veriyi anladık tamamda Veri Bilimi Nedir? Bunun birde bilimi mi var, evet var arkadaşlar şimdi ise ona bakalım.
Veri Bilimi elimizdeki veriden faydalı bilgi çıkarma sürecidir. Peki nasıl yani veriden nasıl faydalı bilgi çıkartabiliriz ki… Faydalı Bilgide ne ki? gibi sorular aklınıza geldiğini biliyorum. Merak etmeyin hemen açıklıyor olacağız.
Faydalı bilgi, elimizde var olan veri setinden gerekli bilgileri çıkartarak önümüzdeki problemlere çözüm üretmek için kullanılan bilgi diyebiliriz. Peki nasıl faydalı bilgi çıkartabiliriz?
Gelin birlikte Faydalı Bilgi Çıkarma süreçlerine bakalım
Veri Kaynakları, Veri Analitiği, Bilgi, Aksiyon
Evet faydalı bilgi çıkarma sürecindeki ana işleyiş bu şekildedir arkadaşlar. İsterseniz biraz burayı tanıyalım bu süreçlerde neler yaşanıyor bunları inceleyelim. Nasıl faydalı bilgi çıkartabiliriz buna bakalım.
Veriden faydalı bilgi çıkarma süreci 4 aşamalı analitik yaklaşım türlerini ele alarak açıklayabiliriz.
1. Betimleyici Analitik (Descriptive Analytics): Ne Olmuş sorusuna yanıt aramaktadır. Bir veri setini olduğu hali ile betimleme işlemini yapmaktadır. Yani veri seti incelendiğinde hangi dönemlerde artışlar var, hangi kategoride ne kadar satış olmuş gibi sorulara yanıt aldığımız analitik türüdür. Bizlere betimsel istatistikleri nelerdir bu veri setinin denildiğinde aslında bu analitik yöntemi kullanarak mod, medyan, standart sapma gibi verileri bizlere sunmaktadır.
2. Teşhis/Tanı Analitiği (Diagnostic Analytics): Neden Olmuş sorusuna yanıt aramaktadır. Bir veri seti ele alınıldığında örneğin bu veri seti bir araç satış veri seti olsun ve veri seti incelendiğinde yaz aylarında araç satışlarında artış meydana geldiği gözlemlenmektedir. İşte tamda burada Teşhis/Tanı analitiği neden bu aylarda satışlarda yükselme var sorusuna yanıt aramaktadır.
3. Tahminsel Analitik (Predictive Analytics): Ne Olacak sorusuna yanıt aramaktadır. Yine araç satış veri seti üzerinden yolumuza devam edecek olursak örneğin Haziran Temmuz Agustos aylarında satışlarda artışlar var ve biz acaba Eylül ve Ekim aylarında araç satışlarında ne olacak dediğimiz anda tahminsel analitik devreye girerek bu soruya yanıt vermektedir. Gelecek ile tahminlerde bulunup ne olacak sorusuna cevap vermektedir.
4. Yönergeli Analitik (Prescriptive Analytics): Normatif Analitik olarak da duyulmaktadır. Ne Olmalı, Nasıl Olmalı sorularına yanıt aramaktadır. Örneğin bir restoran veri seti üzerinden yola çıkacak olursak ne yaparsak müşteriler bizi terketmez, ne yaparsam satışlarda artış meydana gelir gibi sorulara yanıt aradığımız bir analitik türüdür. Bazı önlemler alınmasını veya yönergelerde bulunması gibi işlemler gerçekleştirebiliriz. Bu son analitiği ele aldığımızda geride kalan 3 analitik de bakın şu sorulara yanıt verdik. Ne Olmuş, Neden Olmuş, Ne Olacak sorularına yanıt verdik ve artık Ne Olmalı, Nasıl Olmalı sorusuna yanıt verebilmemiz gerekmektedir.
Veri analitiği türleri katma değer ve zorluk grafiği 
Yukarıda yer alan grafikten de anlaşılacağı üzeri bahsetmiş olduğumuz veri analitiği aşamaları ve bunların katma değere karşı zorluklarını görmekteyiz. Grafikte x ekseni boyunca ilerlenildiğinde hatırlayacak olursanız sorduğumuz sorulara alacağımız yanıtlarda zorlaşmakta. Betimleyici analitikde Ne Olmuş, Teşhis/Tanı analitiğinde Neden Olmuş, Tahminsel analitikde Ne Olacak ve son olarak da Yönergeli analitik de Ne Olmalı, Nasıl Olmalı sorularına yanıt aramıştık. Sizlerde farkedeceksiniz ki sorular her bir analitikde daha da zorlaşmakta. İşte bu analitiklerin üzerinde bulunan ve buraya şemsiye tutan kısım ise Makine Öğrenmesidir.
Tamam peki veriden nasıl faydalı bilgi çıkarılıyormuş bunu öğrendik. Peki Veri Bilimci Kimdir? Şimdi buna yanıt arayalım.
Veriden faydalı bilgi çıkarma sürecini yöneten kişiye ise Veri Bilimci denir. Peki bir veri bilimci olmak istersem ne tür yeteneklere ihtiyaçlarımız olacak;
· Matematik ve İstatistik
· Programlama Bilgisi
· İş Bilgisi
· İletişim ve Görselleştirme
Evet arkadaşlar ufak bir giriş yaparak Veri nedir, Veri Bilimi nedir, Veriden Faydalı Bilgi Çıkarmak nedir, Veri Bilimci kimdir gibi sorulara yanıtlar vermeye çalıştım. Tüm herkesin kafasında yer alan nasıl başlamalıyım, nasıl ilerlemeliyim, nerden başlamalıyım gibi sorular yer almakta. Arkadaşlar daldan dala eğitimden eğitime atlamaya gerek yok. Pandemi süreci ile birlikte birçok platform ücretsiz kurslar paylaşmakta bunlardan birini seçerek bu alana adım atmanız gerekmekte. Unutmayın “Başlamak Bitirmenin yarısıdır.” Kendinize güvenin ve bilgisayarın karşısına geçip sıkılmadan yüksek bir motivasyonla o kursu tamamlayın biliyorum bu çok sıkıcı ama bu alanda olabilmek, hayatta kalabilmek için bilgisayar başında sıkılmadan çalışabilmeniz gerekmektedir. Peki gelelim bu tüm dünyanın üzerine yoğunlaştığı ve her 15 dk da bir bu alana yönelik makaleler yazıldığı Veri Bilimi ve Yapay Zeka çağında nasıl hayatta kalabiliriz sizlere bundan bahsedeceğim bu alanda hayatta kalabilmek için 3 altın kuralı aktarıyorum sizlere arkadaşlar;
1. Üşenme Google’la
2. Döküman ve Fonksiyon Okuryazarlığı
3. Problemlere karşı korkma basit düşün
Bu 3 altın kuralı gelin biraz daha detaylı açıklayalım.
1. Üşenme Google’la:
Evet yanlış duymadınız üşenme google’la. Bu alanda uzun yıllar kariyer sahibi olmuş kişilerin yapmış olduğu paylaşımlar bizleri heyecanlandırıyor hatta şunu diyoruz keşke bende bu alanda çalışsam, bende böyle olabilir miyim acaba diyoruz. Bazen de öyle paylaşımlar oluyor ki heyecanımız motivasyonumuz kırılıyor ve bu yapılanlar çok zor diyebiliyoruz. Ama yola çıkarken ne dedik yılmayacağız her zorlukda daha da güçlenerek daha da hırslanarak yolumuza devam edeceğiz. Unutmayın ki “Pes etmeden üretenler kazanacaktır.”
Sizleri yaşadığınız sorunları çok iyi anlıyorum hevesleniyorsunuz heyecanlanıyorsunuz bir kod parçasını çalıştırmak istiyorsunuz ve çalıştırınca hata gelince tüm herşey yerle bir oluyor biliyorum bu duyguyu, ama bakın birlikte yukarıda yer alan 3 altın kuralın ilkine bakalım Üşenme Google’la bu madde 3 madde arasından en değerlisidir. Hata ile mi karşılaştınız hemen kopyala hatayı yapıştır Google’a. Sizlerle birlikte aşağıda küçük bir örnek de birlikte yapmış olacağız. Arkadaşlar bu alanda hayatta kalabilmek için 3 altın kurala sımsıkı sarılıp onlarla yola devam etmemiz gerekmekte.
Bu alana yeni girmiş olabilirsiniz veya bu alanda kendinizi geliştiriyor olabilirsiniz. Kendimde bu alanda ilerleyen biri olarak aklınızın alamayacağı kadar hata ile karşılaşıyoruz. Özellikle programlama kısmında kod yazıyorsunuz diyelim çalıştırınca pat karşınıza hata çıkıyor. Hatanın nereden kaynaklandığını bilmiyoruz varsayalım ve hemen kod çıktısına yönelerek bize hatanın ne olduğunu çok basit bir şekilde anlatıyor. Hemen napıyorum ilk altın kural devreye sokma vakti kopyala hatayı, yapıştır Google’a ama sadece bu kadarla bitmiyor senin problemine uygun çözümü bulabilmen gerekmekte. Sadece kopyala, yapıştır ile bitmiyor Google’lamak. İsterseniz gelin bir örnek yapalım ve daha da pekiştirelim.
Elimde “clinic_data.xlsx” uzantılı bir veri seti var ve ben bunu pandas kütüphanesi ile nasıl okuyacağımı unuttum “df=pd.read_xlsx(“clinic_data.xlsx”)” olarak yazdım ve hata ile karşılaştım. Hemen aklıma 3 altın kuralın ilki geldi ve hatamı kopyalayıp Google’a yapıştırdım.
Hatayı Google’a yapıştırdım ancak benim sorunum ile ilgili bir başlık göremedim. Daha öncede belirtmiştim sadece kopyala yapıştır ile olmuyor hatamı net bir şekilde belirtip çözüme ulaşmam gerekmekte. Nedir hatam, xlsx uzantılı bir veri setini pandas kütüphanesi ile nasıl okuyabilirim. Bu soruya cevap aramaktayım. O halde …
Google’a yaşadığım sorunu “pandas to read xlsx dataset” yazıyorum ve şunu soruyorum aslında pandas kütüphanesinde xlsx uzantılı bir veri seti nasıl okunur bunu sorduğumda karşıma problemin çözümü ve bizlerin her zaman çözümüne koşan stackoverflow karşımıza çıkmakta. Hemen tıklayarak veri setini nasıl okumam gerektiğini öğrenip koduma dönüyorum. Kodda yapılan hata “pd.read_excel” yazmam gerekiyorken “pd.read_xlsx” yazmam oldu. Hatamı hemen “df = pd.read_excel(“clinic_data.xlsx”)” şeklinde düzelterek kodumu çalıştırıyorum.
Hatamı düzelttim ve veri setini okutarak ilk 5 değerine erişip veri setini inceleyebildim. Sizlerde hatalarınız ile karşılaştığınızda hatanızı direk yapıştırıp bir deneyin ancak olmaz ise yaşanılan hataları anahtar kelimeleri kullanarak hatanızı ifade edip tekrardan aratarak sorunlarınıza çözüm bulabilirsiniz.
İlk olarak Fonksiyon nedir buna cevap vererek başlamak istiyorum.
Fonksiyon: Bazı görevleri yerine getirmek için genel amaçlar taşıyan görevcilerdir.
Fonksiyonu öğrendik altın kurallarda yer alan ikinci maddemize bir bakalım Döküman ve Fonksiyon Okuryazarlığı, neden bu kadar önemli, genel hatlarıyla bir programlama dilini öğrendikten sonra sizden istenilen özel işleri yerine getirebilmek adına fonksiyon okuryazarlığı oldukça önem arz etmektedir. Peki nasıl fonksiyon okuyabilirim dediğinizi duyar gibiyim buyrun birlikte inceleyelim.
Örneğin print fonksiyonunu ele alalım print fonksiyonun amacı ekrana yazdırmaktır. Ben bu fonksiyon hakkında dökümantasyona erişmek istiyorum ne yapmam gerekmekte dediğimiz anda fonksiyonun başına gelerek soru işareti koyarak bu fonksiyonun dökümantasyonuna ulaşmış bulunmaktayız. Dökümantasyonu incelediğimizde fonksiyonun nasıl kullanılacağı, bu fonksiyonlar ile birlikte hangi argümanları kullanabileceğimi bana göstermekte. İşte tamda şu an sizlerle birlikte bir döküman ve fonksiyon okuryazarlığı gerçekleştirmiş olduk. Sizlerle birlikte sadece bir örnek üzerinde inceledik ancak her fonksiyon için fonksiyonun başına soru işareti koyarak o fonksiyonun dökümantasyonuna ulaşarak fonksiyon okuryazarlığımızı geliştirmiş olacağız. Eğer bir fonksiyonu okumayı öğrenirsek bu fonksiyonu ihtiyacımıza göre biçimlendirebiliriz.
Evet arkadaşlar sizlere bahsettiğim üç altın kuralı uygulamak bu kadar basit. Veri Bilimi alanında hayatta kalmak istiyorsak uygulayacaklarımız bu kadar basit. Kendinizi bu üç kurala alıştırmaya çalışın. Son kuralımız olan Problemlere karşı korkma basit düşün, bir sorunla karşılaşıyorsunuz o sorunu zorlaştırmayın, zorlaştırarak kafanızın karışmasına neden olacaksınız. Olabildiğince basit şekilde problemi ele almak ve diğer iki altın kuralı ele alarak probleme çözüm getirmek olacaktır.
Umarım bu alana yeni girenlere bir şeyler aktarabilmişimdir…
Yazılarımın devamını getiriyor olacağım. Görüşmek üzere…
How to achieve Hyper-personalization at scale?
DeepMap Named to Forbes AI 50 List of Most Promising Artificial Intelligence Companies – PRNewswire
Thanks! I was able to use this with the label_from_folder function.
← Giving Legal Teams Better Tools to Represent Asylum Seekers
Exploring Food Recipes using Machine Intelligence →