Karl Popper’in Askerleriyiz* | Azad Alik
« Kahrolsun BAĞZI Veriler* | Kaç Çocuk Hibe Etmeli? »
İlk gelen şikayetçi yorumlardan biri “muktedir varken mazluma vurmuşsunuz, adil olmamış” minvalinde idi. Öncelikle belirtelim ki, “mazlum olmak yahut olmamak” gibi argümanlar bilimsel kalite tartışmasını ilgilendirmezler. Bir materyalin bilimsel sayılabilmesi için belli kriterlere uyması gerekir, uymuyorsa gereken akademik değerlendirme yapılır. İlaveten, bu temel prensibi bir kenara bıraktığımızı varsayalım. Bu çalışmayı alıntılayan medya kanalları ve hatta takribi 3 hafta içinde Gezi Parkı eylemleri hakkında yazdığı kitapta Bilgiç ve Kafkaslı’nın araştırmasını bilimsel materyal olarak alıntıladığını (sosyal medya aracılığıyla) öğrendiğimiz sosyolog Prof. Emre Kongar’ı tabloya dâhil ettiğimizde, yazılan bu standart altı ve yanlış yönlendirici materyalin yarattığı “kamuoyu” ile hiç de iddia edildiği kadar mazlum olmadığını düşünüyoruz.Eğer mazlum bu ise, on yıllardır Türkiye’de makale ve kitapları sansürlenen, medya kanalları kapatılan, öldürülen, işkence gören entelektüel ve muhalif Türkiyelilere uygun düşen sıfat nedir acaba, kara kara düşünmek durumundayız.
Peki, numune seçim sürecinde aslında ne yapılmalıydı? Eğer ki temsili numune/örneklem kazanmak istiyorsanız ve görece küçük/lokal bir nüfus ile çalışıyorsanız bir telefon rehberinden tamamen rastgele seçilmiş isimler ile numune/örneklem kurgulamanız yetecektir. Ülke çapında ise işler biraz daha karışık. Bu noktada kümesel, çok aşamalı rastgele numune/örneklem (cluster sampling) metodu kullanmalısınızdır. Yani genel nüfusu en başta bölgelere/şehirlere bölerek bu bölgeler içinden, bölge nüfusunu temsil edecek numune miktarları hesaplanarak her bölgeden bir adet “tamamen rastlantısal seçilmiş numune” yapmak ve duruma göre bölgeler için “numune ağırlıkları” (sampling weights) hesaplamak zorundasınızdır (tek bir genel numune sayısı ve buna bölgesel vb. kotalar koyarak değil). Rastlantısal olarak yapılmış ve temsili olan bir numune için kadın/erkek, işsiz/çalışan gibi kotalar koymanız normalde gereksizdir. Zira zaten temsili olan numunede tüm bu özelliklerin dağılımı (temsiliyet gerçeği sayesinde), bu özelliklerin aşağı yukarı genel nüfustaki dağılımına yakın olacaktır.
Yukarıdaki görselde “tahmini oy oranını bulmak için” tarif edilen formül neden hatalı, neden absürt, neden geçersiz? Birincisi, belli istisnai durumlar dışında (örneğin aynı numune/örneklem içinde çapraz doğrulama yaparken) “yüzdelerin” birbirleriyle toplanıp, çarpılması, bölünmesi, ortalama alınması gibi işlemlerin matematiksel olarak hiçbir anlamı olmamasından, bunun yanlış olmasından ve uzak durulması gerektiğinden dolayı. Yüzdeler standardize edilmiş relatif değerlerdir ve sadece “ortak duruma veya veri grubuna ait yüzdeler” söz konusuysa aritmetik işleme tabi tutulmaları anlamlıdır ki bu bile genellenebilir bir kural değil (Chen & Rao, 2007). Bunun dışındaki işlemler sadece yanıltıcı ve geçersiz sonuçlar üretirler. Elimizdeki örnekte bir ortak veri grubu yok (birden fazla kotalı numune/örneklem ile yapılmış anketler var). Ama zaten böyle olsa bile yüzdeleri birbiriyle toplayıp çıkartarak “tahmini oy oranı” uydurmaya gerek yok. Doğru istatistik yaptıysanız, yani doğru numune kurgulayarak, doğru seçilmiş, temsili numuneye “kimin yüzde kaç oy alacağı” sorusunu sorduysanız Pazar günü seçim olsa ülke çapında kimin yüzde kaç oy alacağını 1-2 puan hata payı ile zaten bulursunuz. Yani temsili numune ile çalışmanız genellenebilir bir seçim anketi için yeterlidir, insanlara “kime oy verirdiniz” diye basitçe sormanız da doğru sonuç için yeterli olacaktır. Numune/örneklem kurgusunda “temsiliyet” kriteri zaten bunun için, bulguları tüm nüfusa genelleyebilmek için vardır. Birtakım toplama çıkarmalar ve doğaçlama, uyduruk, anlamsız formüller ile durumu kurtarmaya çalışmanıza lüzum kalmaz.
Chen, H. A., & Rao, A. R. (2007). When Two Plus Two Is Not Equal to Four: Errors in Processing Multiple Percentage Changes. Journal of Consumer Research, 34, 1–15.
Posted on August 3, 2013 at 2:59 pm in Activism, Data Politics, Environmental Politics, Individual freedoms, Intellectuals, Journalism, Politics, Politics of Knowledge, Public Sphere, Turkish Journalism, Turkish Politics	| RSS feed | Reply	| Trackback URL
12 Responses	to “Karl Popper’in Askerleriyiz*”
açıkçası yazıyı okumadım bile, ctrl+f yapıp nerede niçin popper referansı verilmiş diye baktım. başlıkta ve sonda. peki niye popper? metodoloji veya epistemoloji tartışması yapılıyor diye mi? ee, lakatos, feyereband, kuhn, ve diğer yüzlercesi de olurdu. burada yöntem konusunda, hele de böyle survey soruları konusunda popper ne söyledi ki??!!! kaldı ki yöntem sorununa bilgi felsefesi değil, sosyal bilimcilerden örnek vermek gerekirdi. bu resmen yapılmış güzel bir esprinin -afedersiniz- bokunun çıkarılması. ayrıyeten de popper’i biliyorum demek alttan alta. ama gel gör ki popper’in eserlerinden birini bile okumadım demek.
Onur Yavuz’un iki yazısını da okudum. İstatistik veya anket uzmanı olduğumu iddia edemem ama bazı kavramları bilirim. İki yazıyı da anladığım kanaatindeyim ve genel olarak eleştirilerine katılıyorum. Aslında Yavuz’un da dediği gibi bunlar ankete dair o kadar temel doğrular/yanlışlar ki bir anlamda katılmamak mümkün değil. Sarkastik üslup zaman zaman rahatsız etse de anlaşılan muhatapları yaptıkları vahim derecesindeki hatalarla bunu bir ölçüde hak etmişler deyip geçebilirim. Yazmamın sebebi olayların başından beri kafamı kurcalayan bir soru sormak ve naçizane bir öneride bulunmak. Soru şu: Gezi hareketi diye nitelenen eylemler dizisine katılanların sosyal profili ve eylemlere katılımlarıyla ilgili keşfedici bir anket yapmak istersek ve herşeyin başı doğru örneklem elde etmekse (yanlış örneklemle doğru sonuç çıkmaz) hangi örneklem metodu uygulanmalıdır? En temsili örneklemin rastlantısal örneklem olduğu malum ama katılımın dalgalı olduğu, farklı şehirler ölçeğinde mekansal düzlemde yayılmış, amorf diyebileceğimiz, sınırlarını belirlemesi kolay olmayan “Gezi kitlesi” gibi bir popülasyondan nasıl rastlantısal örneklem elde edebiliriz? ‘Sampling frame’miz nasıl olacak? Yavuz ikinci yazıda bir örnek vermiş ama yanlış anlamadıysam onun söylediği ancak Türkiye popülasyonunun Gezi eylemleri (veya aslında herhengi bir şey) hakkındaki yaklaşım ve fikirlerini öğrenmek amacıyla yapılacak bir ankette rastlantısal örneklem metodu olarak kullanılabilir. Eğer Gezi kitlesinden rastlantısal örneklem almak mümkün değilse, “ikinci en iyi” metod hangisidir? Kota olamayacağını Yavuz da söylemiş. E tabi ki ‘snowball’ da olmaz. Clustered sampling desen onun için de eninde sonunda bir sampling frame ihtiyacı olmayacak mı? Açık uçlu sorularla derinlemesine mülakat da aynı örneklem sorunundan muzdarip olacaktır.
İkinci nokta, ele alınan anketlerdeki yönlendirici (prompting), ideolojik bagajı yüklü, “nötr” olmayan sorular meselesi. Yavuz, bu noktada yaptığı eleştirilerinde de birçoğunda haklı gözüküyor. Gel gelelim, şunu da teslim etmek gerekir ki, her ankette etkisini sıfıra indiremeyeceğiniz bir paradoks vardır. Siz ne kadar nötr ifadeler ve terimler kullandığınızı da düşünseniz, “denek” denilen kişilerin farklı geçmiş yaşam tecrübeleri ve zihinsel bagajları yüzünden, sorulan her soru yanıtlayanlar tarafından tamamen aynı biçimde algılanmayacaktır. Tabii bu, Yavuz’un getirdiği eleştirilerin doğruluğuna halel getirmez. Fakat, demem o ki, zaten böyle bir genel paradoks varken bir de Gezi kompleks gibi bir olayı anlamak için sorulacak soruların ideale yaklaşması hayli zor gibime geliyor.
Bu iki noktayı birleştirerek, eğer Onur Yavuz haddimi aştığımı düşünmezse, yukarıda bahsettiğim önerim şu: Yavuz bu iki eleştiri yazısına ek olarak, yukarıda zikrettiğim noktaları da açıklayan, Gezi gibi bir olay karşısında nasıl anket yapılır bunu anlatan bir üçüncü yazı yazabilir mi acaba? Örnek soruları ortaya koyan, nasıl örneklem yapılacağını anlatan…Bu noktalara, diğer anketlerdeki yanlışların eleştirileri üzerinden iki yazıda değinildiği olmuş ama “Gezi araştırması nasıl yapılır?” sorusuna daha derli toplu cevap teşkil edecek, yanlışlar değil doğrular üzerinden giden bir metin kastediyorum. Hatta, acaba ilk iki yazıyla birleştirilerek bir kitapçık haline getirilebilir mi? Belki araştırma metodları dersinde bile kullanılabilir ama o zaman sarkastik dilden arındırmak gerekir tabii.
Öte yandan bütün bunları geçersiz kılacak başka bir nokta da var: yoksa Gezi’yi anlamak için anket veya derinlemesine mülakat geçersiz metodlar mıdır? Tabii o zaman anketlerdeki yanlışları eleştirmek de anlamsızlaşır bir ölçüde, çünkü bu bağlamda anket yapmanın kendisi anlamsızdır. Belki de en doğrusu katılımcı gözlem gibi daha etnografik metodlardır; onun için de sokaklarda, barikatlarda bulunmak gerekir. Bunu yapmadan teslim edeceğiniz tek şey Gezi’nin karmaşık, homojen ve çelişkili bir sosyal durum olduğudur gibime geliyor.
Onur Bey, Size ulaşabileceğimiz başka bir adresinizi bulamadık. O nedenle buraya not düşüyoruz. Ipsos’a referans verdiğiniz rapor kamuoyu ve medya ile paylaşılmadı. Raporda, medya ve üçüncü partilerle paylaşılamayacağı, kaynak gösterilerek bile alıntı yapılamayacağı ifade edildi. Buna rağmen kısmen sızdırılması ile ilgili konuyu hukukçularımız inceliyor. Kamuoyunu yönlendirme gibi bir amacı olamaz. Temel amacı tüketici davranışlarının nasıl gelişebileceğini anlamaktır. Bizimle iletişime geçerseniz raporun teknik kalitesi konusunda uzmanlarımızla konuşmanızı da sağlamak isteriz. Ipsos Kurumsal İletişim
“Ipsos’a referans verdiğiniz rapor kamuoyu ve medya ile paylaşılmadı. Raporda, medya ve üçüncü partilerle paylaşılamayacağı, kaynak gösterilerek bile alıntı yapılamayacağı ifade edildi.” demişsiniz. Bu noktada şöyle bir hatırlatmayı uygun buluyoruz: Yaman Törüner, 25 Haziran 2013. Eğer bu söylediğiniz tüm raporlarınız için geçerliyse daha düşündürücü bir durum mevcut, zira şu ana kadar Milliyet gazetesi pek çok raporunuzu 75 milyon insanın ulaşabileceği şekilde “kamuya detaylı biçimde ifşa etmiş”. Zaten biz de bu şekilde haberdar olduk. Nitekim Milliyet gazetesi aracılığıyla detaylı biçimde kamuya açılan raporunuza ulaşmak için basit bir Google araması yetiyor. Örneğin gene Haziran ayı itibariyle kamuya açılmış olan bir link (Linkteki şahsın kim olduğunu bilmiyoruz ve zaten ilgilenmiyoruz) http://groups.yahoo.com/group/emeklirotaractlar/message/1745
Biz bu tabloda, halihazırda 2 ay önce basın yoluyla detaylı biçimde kamuya sunulmuş bir araştırmanızı, bilgi alma ve doğrulama özgürlüğü kapsamında, kısmen analizimize dahil ederek bilimsel görevimizi yaptık ve atıfta bulunduk. Yani, akademik ya da sair meraklarla ilgilenen kişiler için tamamen kamuya açık hale gelmiş, alenileşmiş bir rapora, tamamen bilimsel maksatlarla ve metodolojik ilkeler çerçevesinde atıf yapmış olmakla, ne alenileştirme yasağınızı çiğnemiş olduğumuzu düşündük, ne de raporun ticari kullanım değerine bir etkide bulunmayı aklımıza getirdik. Nitekim makalemiz ne sadece o rapora yaslanıyor, ne münhasıran o raporun analizini hedefliyor.
Raporun teknik kalitesi konusunda tartışmak istediğiniz bir şey varsa (örneğin bu makalenin altındaki yorum bölümünde) kamuya açık bir biçimde uzmanlarınızın makaleye yönelik teknik ve bilimsel nitelikteki görüşlerini okumaya, duymaya ve gerekli görürsek yanıt vermeye hazırız. Zira bilim insanları olarak, bilimsel kalite tartışmalarının doğal olarak kamuya açık ve yararlı bir biçimde sürdürülmesi gerektiğini savunuyoruz.
Benim eleştirimi lütfen bağlamından koparmadan ifade edin. Buydu… “Bilgi’nin iletişimci yüksek lisansçılarının amatör bir çalışmasını değil de işi ziyayedesiyle istatistik olması gereken TÜİK’in herhangi bir raporunu ele alarak yazılması gerekirdi…Muktedir dururken zayıfa vurulmuş!”
Detaylı açıklamanız için teşekkür ediyorum. Bizim üniversite ve araştırma sistemindeki duruma, bunun profesyonel dünyadaki izdüşümüne dair yazıdaki yorumumuz bu tarif ettiğiniz durum içerisinde de geçerli.
İlki gibi bu yazı da gayet anlamlı ve yerinde. katkı olması amacıyla aşağıdaki linkte bulunan kısa kitabı da dikkatinize sunuyorum. Yazar TRT ve RTÜK tarafından yapılan araştırmalardaki sorunları ele alarak benzer bir analiz yapıyor.
Bu kaynak çok güzel oldu gerçekten. Çok teşekkürler.
Bazı universitelerimizin ve araştırma şirketlerinizin içler acısı durumunu yazdığınız için çok teşşekürler. Asla bilimsellikten vazgeçmemiz gerekiyor. Konda , Metropoll ve IPSOS gibi markalara yakışmadı. Bu şirketlerin genel müdürlerine tavsiyem derhal konuyla ilgili teknik uzmannların işten çıkarmak ve sizi işe almak olurdu.
Popper.. Bilim felsefesi üzerine çalışmaları nedeni ile atıf yapılmış..
Bilimi aidiyet ve hırsları uğruna eğip büken.. Zavallılar.. Popper sizi kovalardı.. Minvalinde..
CTRL+f yanında google + mantık da iyi gider..
4 yılı aşkın bir süredir internet üzerinden Türkiye’ de faliyet gösteren yerli ve yabancı araştırma şirketlerinin anketlerine katılıyorum.ve burada bahsettiğiniz sorunların tamamı hatta daha fazlası karşımıza çıkmakta.Sadece GEZİ anketlerine mahsus bir durum değil malesef…