Veri Ön İşleme / Python - Woman Engineer
Zeynep Küçük Makine Öğrenmesi
Adım 1 : Gerekli Kütüphaneyi İçe Aktarma (import)
Python da makine öğrenmesi işlemlerinin yaparken her zaman import edeceğimiz iki kütüphanemiz vardır bunlar Numpy ve Pandas.
Numpy, Matematiksel fonksiyonları içeren bir kütüphanedir.
Pandas, Veri setlerini içeri aktarmak ve yönetmek için kullanılan kütüphanedir.
Adım 2 : Veri Setini içe aktarma
Veri kümeleri genellikle .csv formatında bulunur. CSV uzantılı dosyalar, veritabanı kullanıcıları için verileri virgüller ile ayırarak belli bir düzende yazıp kaydedilmiş olan dosyalardır. Dosyanın her satırı bir veri kaydını içermektedir.
Bir CSV dosyasını dataframe olarak okumak için pandas kütüphanesinin read_csv metodu kullanılmaktadır.
Daha sonra verimizi bağımlı ve bağımsız değişkenler olarak ayırabiliriz.
Adım 3 : Eksik Verilerin Ele Alınması (missing value)
Genelde elde ettiğimiz verilerimiz nadiren homojendir, çeşitli nedenlerden dolayı eksik değerler olabilir örneğin yazılımsal, donanımsal hatalar yanlış kayıt vb. hatalar eksik verilere neden olabilir. Bu eksik değerlerin ele alınması gerekir, böylece makine öğrenme modelimizin performansını düşürmemiş oluruz. Çeşitli yöntemlerle eksik verilerin giderilmesi sağlanabilir örneğin yerine ortalamayı koymak bir çözüm olabilir.
imputer = Imputer(missing_values ='NaN',strategy="mean",axis=0)
Adım 4 : Kategorik Verilerin Çevirilmesi (encoding)
Kategorik veriler, sayısal değerler yerine etiket değerleri içeren değişkenlerdir. Olası değerlerin sayısı genellikle sabit bir setle sınırlıdır. “Evet” ve “Hayır” gibi örnek değerler modelin matematiksel denklemlerinde kullanılamaz, bu yüzden bu değişkenleri sayılara kodlamamız gerekir. Bu değişkenleri çevirebilmek için, LabelEncoder sınıfını sklearn.preprocessing kütüphanesinden çağırarak kullanıyoruz.
Adım 5 : Verinin Eğitim ve Test Verisi Olarak Ayrılması
Modelimiz için kullanacağımız veri setini eğitim ve test veri seti olarak iki parçaya ayırıyoruz. Eğitim verisi ile modeli eğitirken, test verimizi kullanarakta eğitim verisi ile öğrenmiş modelimizin başarısını değerlendiriyoruz. Bölünme işlemi genellikle 66/34 şeklinde yapılmaktadır %66 eğitim verisi iken %34’lük kısım test olarak ayrılmaktadır. Bu işlem için sklearn.crossvalidation kütüphanesinin train_test_split() metodunu içeri aktarıyoruz.
a_train, a_test, b_train, b_test = train_test_split(a, b, test_size=0.33)
Adım 5 : Özellik Ölçeklendirilmesi (feature scaling)
Makine öğrenmesi algoritmalarının çoğu hesaplamalarında uzaklık metriklerinden olan iki veri noktası arasındaki mesafeyi ölçen Öklid formülünü kullanır. Tüm değerlerin eşit olarak katkıda bulunmasını sağlamak için değerler aynı birime getirilmesi gerekmektedir. Büyüklük bakımından oldukça değişkenlik gösteren veriler mesafe hesaplamalarında, ağırlık hesaplamalarında düşük değerdeki özelliklerden daha ağır basacağından varyansı artıracaktır ve eşit etki etmeyeceklerdir. Özellik standardizasyonu veya Z-skor normizasyonu yöntemi ile veriler ölçeklendirilir. Bu işlem için python da Sklearn.preprocessing kütüphanesinin StandardScaler metodu içe aktarılıp kullanılmkatadır.
100daysofMLcode artificial intelligence data preprocesing adımları eğitim ve test verisi olarak ayırma feature scaling nedir kodlama machine learning makine öğrenmesi makine öğrenmesine nasıl başlamalıyım NumPy kütüphanesi ne işe yarar pandas kütüphanesi ne işe yarar python python ile makine öğrenmesi nasıl yapılır python makine öğrenmesi python veri ön işleme tech veri bilimi veri ön işleme nedir woman womanengineer yapay zeka