Tolga Tezcan: 'Araştırma şirketleri seçim araştırmalarında hiçbir zaman başarılı olamadılar'

Araştırma şirketleri, gün geçtikçe seçim dönemlerinin ve gündelik siyasetin olmaz olmazları haline geldiler. Özellikle seçim yarışının iyice kızıştığı son düzlüklerde kendilerini ekranlarda, gazetelerde varlıkları sıklıkla hatırlatılır. Ekrana yansıtılan pasta grafikleri, veriler, yüzdeler… Lakin 1 Kasım seçimlerinin sonuçları araştırma şirketleri için tam bir hayal kırıklığı oldu. Şirketlerin medyaya sundukları veriler ile seçim sonuçları neredeyse taban tabana zıttı. Biz de bu meseleyi bir bilene danışalım dedik ve Florida Üniversitesi'nden sosyolog Tolga Tezcan'la Türkiye'deki araştırma şirketlerinin düştüğü yanlışlıkları, metodolojik ve örneklem bulma teknikleri açısından problemlerini ve sektördeki sömürünün sonuçlara etkisini konuştuk.

Tolga Tezcan

- 1 Kasım seçimlerinin sonuçları açısından en büyük hayal kırıklığını hiç şüphesiz araştırma şirketleri yaşadı. Araştırma şirketlerinin sonuçlarıyla seçim sonuçları arasında oluşan büyük farkı siz nasıl yorumluyorsunuz?

Bu mecrada en büyük dönüşüm araştırma şirketi sahiplerine tartışma programlarında gereğinden fazla yer verilmesiyle, bilgilerinin ve kapasitelerinin dışında cevaplar beklenmesiyle yaşandı. “Seçmen topluma mesaj verdi” gibi lafızların da siyaset diline girmesine neden oldular. Alakalı alakasız her şey için sosyolojik tanımlamasını kullanarak cevap üretmekten çok tahmin yürütemedikleri meseleleri maskelediler. Ve herkesten hızlı sonuç üretme ve televizyon programlarında yer bulma telaşı yüzünden veri kontrolü dahi yapmadan veri yayınlamaya başladılar. Ne kadar ironiktir ki, araştırma şirketlerinin bu başarısızlıklarını yine kendilerine yorumlattık. Araştırma şirketleri, seçim araştırmalarında hiçbir zaman başarılı olamadılar aslında, 15’e yakın şirket rapor yayınlardı ve sadece bir ya da ikisi yakın tahmin yapmış olurdu.

- Bu seçimin farkı nedir?

Bu seçimin farkı hiçbir araştırma şirketinin yakın tahmin yapamaması. Bazı şirketler zaten sahaya çıkmadan, masa başı rapor ürettiler hep. 15 anketin ortalamasını alarak, belki biraz da kanaat notu kullanarak parti yüzdelerini dolaşıma soktular. Haliyle bir ya da iki şirketin yakın tahmin yapması çok olağan. Fakat bu seçimde, gerçekten sahada olan şirketler yanılınca, ortalama alan şirketler de dahil tabii, herkes yanılmış oldu. Şimdi ise bilimsel terminoloji kullanarak enteresan savunmalar yapıyorlar. Örneğin, bir araştırmanın hata payı %2.5 ve bu araştırma A partisinin oyunu %50 bulmuş diyelim. Seçim sonucunda A partisinin oyu %45 çıktıysa, bu araştırma “sonuca 5 puan yaklaştık” diyemez. O araştırma tamamıyla hatalıdır anlamına gelir bu sapma. Ama araştırma şirketleri bu lafı da dilimize yerleştirmiş bulundu. Bu şirketler neden yanıldı sorusu, 1 Kasım’dan bu yana hayli tartışıldı, genelde hile ihtimali ve siyasi atmosfer üzerinden yapılan spekülasyonlarla yanıtlandı, ben sorunuzu kantitatif saha perspektifiyle ve Türkiye uygulamalarıyla yanıtlayabilirim. En temel problem örneklem yöntemi.

- Bu örneklem konusunu açabilir misiniz?

Kalitatif ve kantitatif yöntemlerin arasındaki temel bir tartışma konusudur bu aslında, belirli sayıda bir katılımcıyla görüştüğünüzde geneli temsil edebilir miyiz sorusu. Bunun doğru olduğunu varsayanlar şöyle basit bir analoji kullanırlar: Çorbanın tuzuna bakmak için tüm kazanı içmeye gerek yok, bir kaşıkla yeterli ölçüde karıştırıp çorbanın tadına bakmanız kafidir, o tat tüm kazan hakkında bir bilgi verecektir. Bu örneğin doğru olduğunu varsayalım ve bu varsayım üzerinden hareket edelim şimdi. Kazanı karıştırma dedikleri örneklem metodolojisidir. Ankete cevap verenler nasıl seçildi, hanelere mi gidildi, katılımcılar sokaktan mı çevrildi, yoksa TÜİK listesi mi kullanıldı? Kaşık ise katılımcı sayısı, yani kanaat oluşturabilmemizi sağlayacak ünitenin niceliksel büyüklüğü. Bundan 2-3 seçim öncesine kadar örneklemi nasıl oluşturduklarına dair en ufak bilgi dahi vermeyen bu şirketler, sanıyorum ki, yapılan işin bilimsel görünmesi için terminolojilerini de geliştirdiler ve bu seçimde hata aralığı üzerine de konuştular, biraz evvel bahsettiğim gibi onu da yanlış şekilde konuştular. Fakat temelde araştırma şirketleri örneklem metodolojileri hakkında konuşmuyorlar, sadece geçiştiriyorlar. “Şu kadar ilde şu kadar kişiyle görüştük” ifadesi boşluğa konuşmaktır. Gidilecek hanelerin rasgele şekilde önceden seçilmesi, anketörün o haneyle görüşebilmek için en az 3 defa girişimde bulunması gerekiyor. En iyi ihtimalle, anketöre şu apartmandan bir görüşme yap deniyor, o da muhtemelen en kolay ulaşılabilir kişi olan kapıcıyla görüşme yapıyor. Ayrıca kabul oranı hakkında da bir bilgi vermiyor bu şirketler. Görüşme yapmayı reddedenlerin oranı nedir sorusu çok mühim. Bu oran %30’ların üstüne çıkıyorsa dataya mesafeli olmakta fayda var.

- Başka bir problem görüyor musunuz örneklem seçiminde?

Örneklem hususundaki bir diğer problem TÜİK’in nüfus, bölgesel kalkınma planları, sosyo-ekonomik gelişmişlik sıralaması gibi faktörlerle 3 ayrı düzeyde belirlediği İstatistiki Bölge Birimleri Sınıflandırması. Örneğin ilk düzeyde çalışma yapıyorsanız 12 ile gitmeniz yeterli, ikinci düzey için 26 ile gitmelisiniz. Bu illerin tüm Türkiye’yi temsil ettiğini varsayarsınız. Fakat bu sınıflandırma siyasi çalışmalar için yeterli değil. Tek bir il bir bölgeyi temsil etmiyor. Dolayısıyla siyasi çalışmalar için 81 ile ulaşmak lazım ki, bu da muazzam bir maliyet demek. Aslında bu şirketler verilerini kamusallaştırsalar bu problem çözülür. Türlü modellemelerle en uygun örnekleme biçimi tespit edilebilir. Fakat kendileri de verilerindeki tutarsızlıkları bildiklerinden bunu yapmaya yanaşmıyorlar. Kamudan aldığını kamuya geri vermeyen bir yapıyla karşı karşıyayız, tek yaptıkları tüm datayı bir pasta grafiğe dönüştürmek.

- Türkiye'deki araştırma şirketlerinin en temel sorunları nedir sizce?

Türkiye’de saha araştırmaları birbirinin içine geçmiş birçok sorun içeriyor. En büyük sıkıntılar, sahanın tamamen denetimsiz olması, saha organizasyonu ve anketörlerin en ufak bir eğitimden geçirilmeden sahaya gönderilmesi. Türkiye’de sadece bir şirket kendi anketörlerini kullanıyor, diğer şirketler ise alt yüklenicilerle bu işi çözüyorlar. Örneğin, 5 farklı araştırma şirketinin 5 farklı araştırması küçük bir ilde yürütülüyorsa, o 5 araştırmayı da çok büyük ihtimalle aynı alt yüklenici şirket yürütüyor. Yani araştırmanın kalitesi tamamen o alt yüklenici şirketin kalitesine bağımlı hale geliyor. Ayrıca siz müşteri olarak anket başına 100 lira para öderken, araştırma şirketi anketörüne 3 lira veriyor. Dolayısıyla o anketörün motivasyonu da en hızlı şekilde en fazla katılımcıya ulaşmak oluyor. Ve açık uçlu, bir süre düşünmeyi gerektiren sorularda dahi karşınızda çok hızlı konuşmak zorunda kalan ve konuşma hızıyla sizi de aynı hıza zorlayan anketörler buluyorsunuz. Buradaki sömürü ağını atlamamak lazım. Bu anketörler sigortalı değil, en ufak bir iş güvenliği dahi yok, çok az para alıyorlar. Ve bu araştırma şirketleri sürekli maliyet azaltma peşindeler. Bir de seçim anketi gibi müşterisi olmayan araştırmalarda, zira bazı şirketler kendi kaynaklarını kullanıyor bu araştırmalar için, anketörlerin sömürülme düzeyini tahmin dahi edemeyiz. En yaygın uygulama, gerekçesiz yahut irrasyonel nedenlerle bazı anketlerin iptal edildiğinin söylenmesi ama reelde o anketlerin datada kullanılması. Böylece maliyet daha da minimize ediliyor. Bizim anketörlerle konuşulan detaylı bir araştırmaya ihtiyacımız var.

- Anketörler sonuçları ciddi anlamda etkiliyor diyebilir miyiz?

Size bir örnek vereyim. İstiklal Caddesi’nden geçtiğimde mutlaka anketörün yanından yakınından yürümeye gayret ederim ki benimle anket yapsınlar. Bir defasında anketör hızlı hızlı sorularını sorup hızlı hızlı yanıtlarını aldı. En son da yaşımı 45 olarak gösterip gösteremeyeceğimi sordu. Bana bunu sordu zira şirketin beni daha sonra arayıp bazı bilgilerimi istemesi ve cevapları kontrol etmesi gibi bir durum söz konusu. Bazı şirketler %30 oranında katılımcıları arayıp cevapları teyit ediyor. Anketörün motivasyonu en hızlı şekilde elindeki anketleri bitirmek olduğu için yaş, cinsiyet, il gibi örneklem kotalarında bu tarz manipülasyonları sıklıkla yaptıklarını düşünüyorum. İşin trajikomik tarafı, o gün cevapladığım soruları benim hazırlamış olmamdı. Bir soru hızlı sorulduğunda, katılımcı telaş ettirildiğinde nasıl farklı cevaplar verilebildiğini de deneyimlemiş oldum. Daha sonra o şirketle sözleşmemizi feshettik.

- Dünyada bu sektör ne durumda?

Gelişmiş ülkelerde bu iş daha profesyonelce yürütülüyor. CATI dediğimiz sistem, yani telefonla anket, bu ülkeler için çok daha uygun. Aralıklarla 3 anket yapıp ortalamasını alarak bilgi paylaşırlar. Hem telefon, hem online hem de yüz yüze anket yapıp, geçmiş araştırmaları dayanak alarak ürettikleri modellemelerle en yakın sonucu bulmaya çalışıyorlar. Ve bu araştırmaların verilerine ulaşabiliyorsunuz, bazıları ücretsiz bazılarına belli bir ücret ödüyorsunuz. Fakat Türkiye’de ne kadar ücret önerirseniz önerin, araştırma şirketleri sizinle ham datayı paylaşmaz. Şeffaflık ve hesap verilebilirlik bu mecradaki en önemli kriterler. Başkaları metodolojinize dair sorular sormadan, sizin her limitasyonu önce raporlaştırmanız gerekir. Bizde tam tersi oluyor. Önce pasta grafik paylaşılır, sonra soru gelirse meselenin etrafında dolaşıp jenerik cevaplar verilir. Yöntem karşılaştırması yaparsak, bizde maalesef CATI çalışmıyor, yüz yüze ankette de geçerli; fakat katılımcıya telefon açtığınızda katılımcı daha çok fişlendiğini düşünüyor. Haksız da sayılmazlar. Bir bakanlığa size yaptırdıkları bir araştırmanın sunumunu yaptığınızda ve bazı ilginç örnekler verdiğinizde, sunumdan sonra bir daire başkanı hemen kolunuza girip bu kişilerin isim ve telefonlarını isteyebiliyor. Siz araştırmacı olarak politik angajmanınız ve mesleki etik gereği buna karşı çıkarsınız ama bu karşı çıkışın da bir bedeli oluyor.

-Araştırma şirketlerinin yayınladıkları anket sonuçlarının, seçmen üzerinde olumlu veya olumsuz bir etkisi olduğunu düşünüyor musunuz?

Bu da seçim araştırmaları literatüründe önemli bir tartışma. Bandwagon etkisi (sürü psikolojisi) partilerin kullandıkları stratejik bir yöntem midir, yoksa bu meseleyi doğal bir sonuç olarak mı yorumlamalıyız? Yani herkesin aklındaki soru şu: Anketin seçmenleri etkileme ihtimali gerekçesiyle anket sonuçları manipüle ediliyor mu? Buna gelmeden önce hemen sorunuzu yanıtlamaya çalışayım. Evet, anket sonuçları seçmen kararını etkileme potansiyeline sahip. Güçlünün yanında saf tutma anlaşılabilir bir durum. Anket sonuçları yüzünden sandığa gitmemek de aynı tutumun bir reflektörü ve bu durum da aynı şekilde anlaşılabilir. Seçmenler kendilerini kazanan tarafta göremediklerinde taraf değiştirebiliyorlar, muhtemel iktidar partisiyle barışabilecek bir yön bulma gayretine de girebiliyorlar. Örneğin 1988 Kanada seçimlerinde seçmenlerin yayınlanan anketlerle uyumlu tavır geliştirdikleri üzerine birçok yayın var. Daha yakın bir örnek olarak, 2008’de aynı tartışmalar, ABD seçimleri için de yapıldı. Manipülasyon konusuna gelirsek, evet gayet mümkün. Data paylaşılmamasının bir nedeni de bu, çekindikleri sadece bilimsel olmayan yöntemlerin tespit edilecek olması değil, manipülasyon da türlü modellemelerle ortaya çıkarılabilir.

- Türkiye'deki seçim araştırmalarında katılımcıların sorulara türlü nedenlerle doğru cevaplar vermekten kaçındıklarına dair bir tweet atmıştınız geçtiğimiz aylarda, sizce Türkiye'deki katılımcılar neden böyle bir eğilim gösteriyor, bize biraz daha açar mısınız bu konuyu?

Konuşmanın başlarında bahsettiğim gibi anketin gerçekten yapıldığının teyidi için katılımcıdan iletişim bilgileri alınır, bu bilgiler verilmezse anket iptal edilir, anketöre ücret ödenmez. Bu bilgi de anketin sonunda istenir ki, anketör sorular yönelterek bir nebze güven verebilmiş olsun. Biraz konu dışı olacak ama yine de önemli, anketörler süreçte öyle bir sezgi geliştiriyorlar ki, artık kimin görüşmeyi kabul edeceğinden, kimin iletişim bilgisi vermeyeceğine kadar ilginç bir zihinsel kodlama ediniyorlar. Bunu da sokaktan katılımcı çevirme esasıyla yapılan araştırmaların ne kadar sübjektif yöntemlerle yapıldığını ifade etmek bakımından söylüyorum. Esas konuya gelirsek, sonuç olarak bazı katılımcılar görüşmeyi ya da iletişim bilgisi vermeyi kabul etmiyor. Kabul etmeyenlerin birçok motivasyonu olabilir. Bir tanesi fişlenme korkusu. İktidar partisi hariç bir partiye oy vermeyi düşünmelerinin kendilerine olumsuz bir şekilde ve bireysel düzeyde geri döneceğini düşünebiliyorlar. Ülke uygulamalarına bakıldığında buna basitçe paranoya demek doğru olmaz. Malum hiçbir konuda doğru dürüst kayıt tutmayan devlet, fişleme sevdasıyla Excel’de hayli ustalaşmış, hücre renklendirmeyi, şablon tablo kullanmayı bile öğrenmiş. Biz yine teknik problemler açısından bakalım meseleye. İlk problem, iletişim bilgilerini vermeyen yani cevaplarını veriye katamadığımız kişilerin oranını bilmememiz. Özetle, yüzdelerde gövdeleşmiş sonuçlar sadece iletişim bilgilerini verebilenleri, yani fişlenme korkusu olmayanları temsil ediyor. İkinci problem de fişlenme kaygısıyla paralel şekilde günün politik atmosferine uygun cevap veren bir kitlenin söz konusu olması.

- Son bir sözünü var mı?

Anketlere ne ölçüde güvenebileceğimiz büyük bir soru işareti, bir şeyleri tutarlı şekilde yanlış ölçen ve şansları yaver giden şirketler, aynı yöntemleri kullanmalarına rağmen bu seçimde çok ciddi başarısız oldular. Sektöre böyle bir itibar kaybı gerçekten gerekiyordu belki de. Son sözüm, daha az televizyon programı, daha az gövde gösterisi; daha çok bilimsel yöntem ve daha çok kaynak.

Can Öktemer