Şubat 2017 – DataAsk <3 VeriBilimi Aşkına
Veri Madenciliği: Boyutun Laneti yazısında belirttiğimiz gibi gerçek hayatta verideki özellikler genelde birbiri ile ilişkilidir. Örneğin, resimler üzerinde bir sınıflandırma yapacağımız zaman piksellerin r (kırmızı),g (green),b (blue) değerlerini kullanmak isteriz. Fakat kırmızı ışığa çok duyarlı olan kameralar bile biraz mavi ve biraz yeşil yakalar. Aynı şekilde, mavi ve yeşile duyarlı olanlar belli oranda kırmızı ışık yakalar. Dolayısıyla, kırmızı özelliğini veri setinden silmek, biraz mav ive yeşil verininide silinmesi demektir.
Özellikleri versetinden silmeden önce, özellikler tamamen ilişkisiz olacak şekilde başka bir boyuta transfer edilmelidir.
Örneğin, sol üstteki verisetinde (D olsun) köşede belirtilen korelasyon matrisi ile x ve y koordinantları birbiri ile ilişkilidir. Kovaryans Matrisi yazısında belirtildiği gibi kovaryans matrisi , ilişikisiz bir veri üzerinde döndürme ve ölçekleme fonksiyonları olarak parçalanabilir ve Korelasyon matrisin eigen vektörleri (V olsun) döndürme operatörü olarak tanımlanır. Sağ alttaki veriseti gibi (D’) ilişkisiz hale getirilebilir. Bu da Kovaryans matris ile eigen Vektörün çarpılması ile elde edilir.
D’ = V.D
Böylece D’ verisinde x’ ve y’ koordinantları ilişkisizdir. Birinin silinmesi diğerini etkilemez. Daha sonra eigen vektörler sayesinde veri eski haline dönüştrülebilir.
PCA en ilginç özelliğin en geniş varyansa ve yayılıma sahip olan olduğunu kabul eder. Bu enformasyon teorisine dayanır: geniş varyanslı özellik , o özellik için entropi’nin fazla olması bu da o özellikte bilginin fazla olması anlamındadır. Büyük eigen vektörler veriyi temsil ederken, küçük eigen vektörler, “noise” temsil eder. Büyük eigen vektörlere de “temel bileşen” adı verilir. PCA ile boyu azaltma tekniği, veriyi kovaryans matirisinin en büyük eigen vektörü üzerine yansıtarak olur.
Verinin ilişkisiz özelliklerini bulmaktan vazgeçelim. Veriyi, verinin içinde bir alt uzaya yansıtmak isteyelim. Tabiki bu yansıtmayı yaparken, gerçek veri noktaları ile yansıtılmışlar arasındaki uzaklıkların minimize edilmesi, yani verimiz için hata payının en az hale getirilmesi hedeflenmelidir. Buna küçük kareler yöntemi denir.
Verileri alt uzaya yansıtacak en optimal vektör yine orjinal verinin kovaryans matirisinin en büyük eigen vektörü çıkar 🙂
Hadi hayırlı olsun yine döndük dolaştık olsun temel bileşeni bulduk 🙂
Bir yüz tanıma uygulaması için, bir dizi fotoğraf öğrenme verisi olarak sisteme verilir. Bir fotograftaki her pikselin parlaklığı özellik olarak alınabilir. Eğer her bir resim 32×32 ise 1024 boyutlu bir matrisimiz olur. Bir resim ile öğrenme dizisi içindeki resimlerim tek tek benzerliklerini hesaplamak, bu 1024 boyut üzerinden yapılır. Fakat uzaklık metrikleri bu yüksek boyutlarda etkisini kaybeder ve sağlıklı sonuçlar döndürmez, yani sınıflandırmada başarılı olunmaz. Boyut düşürmek için PCA uygulanır ise, istenilen sayıda temel bileşen alınarak, her 1024 -boyutlu eigenvektörler tekrar 32×32 resimlere dönüştürülebilir. Öğrenme setindeki diğer resimler bu eigenvektörlerden elde edilen resimlerin belli oranlarda katsayılar ile çarpılıp toplanması ile yani onların lineer kombinasyonundan oluşmaktaadır. İşte bu elde edilen resimler, veriseti içindeki resimlerdeki en bilgilendirici, tanımlayıcı bölgeleri gösteren resimlerdir.
Geriye kalan bir sorud aşu ki acaba kaç tane eigenvektör seçmeliyiz? Fazla eigenvektör seçmek, overfitting denilen veriye çok benzeme durumu oluştururken, az seçmek de tanımlayıcı bilgi kaybına sebep olabilir. Bunun için net bir cevap yoktur fakat, çapraz validasyon yöntemi (cross-validation) parametre seçimi için kullanılabilir. Diğer yandan, seçilen eigen vektörler ile orjinal verideki varyansın ne kadarı açıklanabiliyor bunu gözlemlemeli. Bu da alınan eigen değerlerin tüm eigen değerlere bölünmesi ile bulunur.
PCA ile boyut azaltmanın tarifini veriyorum
Veriyi orijin’e taşı
Eigen vektörlerini bul. Bunun için SVD en çok kullanılan yöntemdir.
Veriyi en büyük eigen vektör üzerine yansıt. V en büyük eigenvektöri içeren matrs olsun. D orjinal veri matrisi olsun. D’=transpose(V).D . V içinden N tanesini seçmiş olalım, bunlara karşılık gelen eigen değerler de ei’ler olsun. Bu durumda orjinal verinin ne kadarını temsil ediyoruz, Tüm ei’lerin, seçilen ei’ler oranına bakarak görebiliriz.
Yayın tarihi 28 Şubat 2017 Kategoriler veribilimEtiketler boyut azaltma, pca, temel bileşenler analiziVeri Madenciliği : Özellik Seçimi için Temel Bileşenler Analizi (PCA) için bir yorum yapın
417,213 total views, 1 views today
Yayın tarihi 27 Şubat 2017 27 Şubat 2017 Kategoriler veribilimVeri Madenciliği: Boyutun Laneti için bir yorum yapın
Kovaryans matrisi her bir değişkenin birbirleri ile ilişkilerini anlatan simetrik bir matristir. Kovaryan birlikte hareket etmek anlamındadır. Matriste verilerin birbirlerine göre nasıl hareket ettiklerini göstermektedir.
Aşağıda 3 değişken için tanımlanmış kovaryans matrisi olsun.
200 0 400
Kovaryans matrisinin köşegenindeki sayılar her bir değişkenin varyansı ile aynıdır. Yani örnekler için en çok varyansa sahip olan 3. örnektir. Yani 3. örnektedeki veriler arasındaki ortalamadan sapma durumu, diğerlerinden daha fazladır.
Diğerleri ise kovaryans değerleridir. Örneğin, 2.örnek ile 3.örnek arasındaki kovaryans 0 çıkmıştır. Yani 2. örnekteki verilere bakılarak 3 örnekteki veriler hakkında bir tahmin yapılamaz. 1.örnek ile 2.örnek arasındaki kovaryans,1.örnek ile 3.örnek arasındaki kovaryansın iki katı olduğundan, 2. örneğe bakarak – 3. örneğe nazaran – 1. örnek hakkında daha iyi bir tahmin yapılabilir. Kovaryans değerler arasındaki mesafeyi ve yönü göz önüne alır. Yani iki değer arasında farkın 10 olması veya 40 olması farklı kovaryans değerlerini işaret eder.
Herhangi bir data D, bir lineer dönüşüm ile D’ haline getirilebilir. Bu dönüşüm döndürme ve ölçekleme işlemleri ile yapılır. Yanı soldaki data lineer dönüşüm ile sağdaki hale getirilebilir. T bir lineer dönüşüm matrisi olsun.
T = RotatingMatrix(R).ScalingMatrix(S) ve Data= T.D’
Ölçekleme Matrisi eigen vektörler (v) ile yapılır. Dv = £.v , (£ eigendeğer)
Bir verinin kovaryan matrisi de döndürme ve ölçekleme olarak iki farklı matrise ayrıştırılabilir.
Kovaryans Matris = V.L.V’
V: Döndürme matrisi – Kolonları eigenvektörlerin oluşturduğu matris , V’: V’nin tersi
Kök (L): Ölçekleme Matrisi – Diagonal değerleri eigen değerlerden oluşan matris
Son Söz: Kovaryans matrisi verinin döndürülüp ölçeklenmiş bir lineer transformasyonunu ifade eder. En büyük eigen değere sahip eigen vektör varyansın çok olduğu yönü belirler.
Yayın tarihi 26 Şubat 2017 Kategoriler istatistik, veribilimKovaryans Matrisi için bir yorum yapın
Veri Madenciliği temelde iki amaç için kullanılır:
1- Tanımlayıcı (descriptive)
2- Tahmin Edici (predictive)
Veri Mandeciliği ile yapabilecekleri söyle listeleyebiliriz:
1- Karakterizyasyon (characterization): özelliklerin genel karakterizasyonu özetler.
2- Ayrımcılık (Discrimination): Özellikler arasındaki ayrımı ortaya koyar.
3- Sık tekrar eden desenler (frequent patterns): hangi özelliklerin bir arada var olduğunu ortaya koyar. Alışveriş sepeti analizi (market-basket analysis) gibi, hangi ürünlerin hangileri ile birlikte satıldığı gibi analizler yapılabilir.
4- İlişkilendirme (association) : hangi özelliklerin hangileriyle daha ilişkili olduğunu ortaya koyar. E-ticaret sitelerinde ürün tavsiye etme sistemleri bu yöntem ile geliştirilebilir.
5- Regresyon (regression): sürekli bir fonksiyon modeli veya tahmini yapabilir.
6- Kümeleme (Clustering): Bir grup veriyi bir araya getirebilir, o küme için etiket üretebilir. Bir sitenin kullanıcılarını profilleri üzerinden kümeleme algoritmaları yardımı ile birbirine benzeyenler birarada gruplanabilir.
7- Sıradışılılık Analizi (Outlier Analysis): Nadir olan noktalar, sıradan bir nokta olmaktan daha ilginç bir şey olabilir. Kredi kartı sahtekarlığı tesbiti, ağ saldırısı tesbiti gibi uygulamaları
Yayın tarihi 26 Şubat 2017 26 Şubat 2017 Kategoriler veribilimVeri Madenciliği 1 için bir yorum yapın
7,686 total views, 16 views today
Yayın tarihi 26 Şubat 2017 26 Şubat 2017 Kategoriler istatistikEtiketler korelasyon, kovaryans, regresyonKovaryans , Korelasyon , Regresyon için bir yorum yapın