Nitel Araştırmada Güvenirlik ve Geçerlik Nasıl Sağlanır?

Nicel araştırma geleneğinden gelen bir hakem, nitel bir çalışmayı değerlendirirken sık sık şu soruyu sorar: “Örneklem küçük, güvenilirlik katsayısı (Cronbach’s alpha) nerede?” Bu soru, nitel araştırmanın kendi metodolojik mantığını nicel ölçütlerle değerlendirmeye çalışmanın bir sonucudur ve nitel araştırmacılar için tanıdık bir hayal kırıklığıdır. Sorun, aslında hakemin haksız olmasında değil — yazarın, nitel araştırmaya özgü güvenirlik ve geçerlik stratejilerini makalede açıkça ve sistematik biçimde raporlamamış olmasındadır. Bu raporlama eksikliği, iyi tasarlanmış bir nitel çalışmanın bile “metodolojik olarak zayıf” görünmesine yol açabilir.

Benzer bir örnek bunu somutlaştırır. Eğitim bilimleri alanında bir doktora öğrencisi, sekiz öğretmenle yaptığı derinlemesine görüşmelere dayanan bir fenomenolojik çalışma yürütür. Bulguları zengin ve özgündür, ama yöntem bölümünde yalnızca “veriler tematik analizle incelenmiştir” cümlesiyle yetinir. Hakem, temaların nasıl oluşturulduğunu, birden fazla araştırmacının kodlama sürecine dahil olup olmadığını ve katılımcı teyidi (member checking) yapılıp yapılmadığını sorar. Öğrenci bu stratejilerin bir kısmını zaten uygulamıştır ama makalede hiç yazmamıştır. Revizyon bu yüzden çalışmayı değil, yalnızca raporlamayı yeniden yazmayı gerektirir.

Bu senaryo istisna değil, kuraldır. Nitel araştırma yöntemleri üzerine yapılan yayın analizleri, reddedilen veya büyük revizyon istenen nitel makalelerin büyük bölümünde asıl sorunun veri kalitesi değil, güvenirlik ve geçerlik stratejilerinin yöntem bölümünde görünür kılınmaması olduğunu gösteriyor. Bir araştırmacı sahada aylarca titiz çalışabilir, katılımcılarla güven ilişkisi kurabilir, verideki nüansları yakalayabilir — ama bunların hiçbiri makalede açık bir “güvenirlik ve geçerlik” anlatısına dönüşmediği sürece hakem için görünmez kalır. Bu yazı, hem hangi stratejilerin var olduğunu hem de bunların makalede nasıl somut, denetlenebilir cümlelere dönüştürüleceğini ele alıyor.

Nitel Araştırmada Güvenirlik ve Geçerlik Neden Farklı Tanımlanır

Nicel araştırmada güvenirlik (reliability), bir ölçümün tutarlılığını; geçerlik (validity) ise bir ölçümün gerçekten ölçmek istediği şeyi ölçüp ölçmediğini ifade eder. Nitel araştırmada ise gerçeklik tekil ve bağlama bağlı kabul edildiği için bu tanımlar doğrudan uygulanmaz. Bunun yerine Lincoln ve Guba’nın (1985) önerdiği ve alan yazınında yaygın kabul gören dört ölçüt kullanılır: inandırıcılık (credibility), aktarılabilirlik (transferability), tutarlılık (dependability) ve teyit edilebilirlik (confirmability). Bu dört ölçüt, nicel güvenirlik/geçerliğin nitel araştırmadaki karşılığı olarak düşünülebilir — ama farklı stratejilerle sağlanır.

Dört Temel Ölçüt ve Sağlama Stratejileri

Bu dört ölçütün hepsini her çalışmada aynı yoğunlukta uygulamak gerekmez — hangi stratejilerin kullanıldığı, araştırma tasarımına ve kaynaklara göre değişir; önemli olan hangilerinin uygulandığının açıkça raporlanmasıdır.

Katılımcı Teyidi ve Kodlayıcılar Arası Güvenirliği Raporlamak

Katılımcı teyidi (member checking), elde edilen bulguların veya yorumların ilgili katılımcılarla paylaşılıp “sizin anlattığınızı doğru yansıtıyor mu?” sorusunun sorulmasıdır. Uygulamada genellikle şu adımlar izlenir: (1) görüşme dökümü veya ilk bulgular katılımcıya gönderilir, (2) katılımcıdan yorumlarını veya düzeltmelerini paylaşması istenir, (3) gelen geri bildirimler analiz sürecine dahil edilir ve bu sürecin nasıl yürütüldüğü metinde belirtilir. Bu adımın makalede raporlanması, yalnızca “yapıldı” demekten daha güçlü bir izlenim bırakır. Kaç katılımcıya ulaşıldığı ve geri bildirimin analize nasıl yansıtıldığı somut biçimde belirtilmelidir; bu ayrıntı, değerlendiricilerin en çok sorduğu takip sorusunu baştan yanıtlar.

Benzer bir raporlama titizliği, birden fazla araştırmacının aynı veriyi bağımsız olarak kodladığı çalışmalarda kodlayıcılar arası tutarlılık (inter-coder reliability) için de gereklidir. Bu, nicel bir katsayı (örn. Cohen’s Kappa) ile ifade edilebileceği gibi, kodlayıcılar arasındaki farklılıkların nasıl tartışılıp uzlaşıya varıldığının (consensus coding) anlatılmasıyla da raporlanabilir. Tek bir araştırmacının kodladığı çalışmalarda ise, bu sınırlılığın açıkça belirtilmesi ve araştırmacı öznelliğinin (reflexivity) nasıl yönetildiğinin (örneğin bir araştırma günlüğü tutularak) anlatılması beklenir.

Yanlış ve Doğru Raporlama Alışkanlıkları

Veri Çeşitlemesi ve Denetim İzi ile İnandırıcılığı Güçlendirmek

Veri çeşitlemesi (triangulation), bir bulguyu tek bir veri kaynağına veya yönteme dayandırmak yerine birden fazla kaynağı karşılaştırarak doğrulamaktır. Uygulamada dört türü sık kullanılır: (1) veri çeşitlemesi — farklı katılımcı gruplarından veya farklı zamanlarda toplanan verilerin karşılaştırılması, (2) yöntem çeşitlemesi — görüşme, gözlem ve doküman analizinin birlikte kullanılması, (3) araştırmacı çeşitlemesi — birden fazla araştırmacının aynı veriyi bağımsız yorumlaması, (4) kuram çeşitlemesi — bulguların birden fazla kuramsal çerçeveyle yorumlanması. Yalnızca “veri çeşitlemesi kullanılmıştır” demek yeterli değildir; hangi türün, hangi veri kaynaklarıyla ve hangi bulguyu doğrulamak için kullanıldığı somut olarak belirtilmelidir. Örneğin “öğretmen görüşmelerinden çıkan sınıf yönetimi teması, ders gözlem notlarıyla karşılaştırılarak doğrulanmıştır” cümlesi, soyut bir iddiadan çok daha ikna edicidir.

Tutarlılık (dependability) ölçütünün temel dayanağı ise denetim izidir (audit trail) — araştırma sürecindeki her kararın (veri toplama, kodlama, tema oluşturma) sonradan izlenebilir biçimde belgelenmesi. Pratikte bir denetim izi genellikle şu unsurlardan oluşur:

1. Ham veri (görüşme dökümleri, gözlem notları, dokümanlar) ile bunların tarih damgalı kopyaları.
2. Kodlama şemasının ilk hâli ve zaman içinde nasıl değiştiğini gösteren sürüm kayıtları.
3. Araştırmacının süreç boyunca tuttuğu bir araştırma günlüğü (reflexive journal) — kararların gerekçeleriyle birlikte.
4. Tema oluşturma sürecinde araştırmacılar arasındaki tartışma ve uzlaşı notları (birden fazla kodlayıcı varsa).

Bu belgelerin tamamının makaleye eklenmesi beklenmez; yöntem bölümünde bir denetim izi tutulduğunun belirtilmesi ve talep edilmesi hâlinde hakemlere sunulabileceğinin ifade edilmesi genellikle yeterlidir.

Araştırmacı Öznelliği İçin Bir Şablon ve Yaklaşıma Göre Farklar

Reflexivity (araştırmacı öznelliği) paragrafı, araştırmacının konuya, katılımcılara veya kuruma olan yakınlığının bulguları nasıl etkileyebileceğini şeffaf biçimde ele alır. Aşağıdaki şablon, yöntem bölümüne uyarlanarak kullanılabilir:

Araştırmacı, [X] yıl boyunca [ilgili kurum/alan] içinde [rol] olarak
çalışmıştır. Bu deneyim, katılımcılarla hızlı güven ilişkisi kurulmasını
kolaylaştırmış olsa da, araştırmacının belirli yorumlara önceden eğilimli
olma riskini de beraberinde getirmiştir. Bu riski yönetmek amacıyla
araştırmacı, veri toplama ve analiz süreci boyunca bir araştırma günlüğü
tutmuş, kendi ön yargılarını ve yorumlama kararlarını bu günlükte
belgelemiştir. [Ek olarak: ikinci bir araştırmacı kodlama sürecine dahil
edilmiş / bulgular katılımcılarla teyit edilmiştir.]

Bu paragrafın makalede bir zayıflık itirafı gibi sunulmaması önemlidir; asıl işlevi metodolojik titizliğin bir göstergesi olmaktır. Hakemler öznelliğin varlığını sorun görmez, yönetilmemiş ve raporlanmamış öznelliği sorun olarak görür.

Dört ölçütün ağırlığı, kullanılan nitel yaklaşıma göre de değişir. Fenomenolojik çalışmalarda inandırıcılık genellikle katılımcı teyidi ve zengin betimlemeyle; temellendirilmiş kuram (grounded theory) çalışmalarında tutarlılık, sürekli karşılaştırma (constant comparison) sürecinin adım adım belgelenmesiyle; vaka çalışmalarında (case study) aktarılabilirlik, vakanın sınırlarının ve bağlamının ayrıntılı tarif edilmesiyle güçlendirilir. Etnografik çalışmalarda ise uzun süreli sahada bulunma (prolonged engagement) süresinin açıkça belirtilmesi, inandırıcılığın en güçlü göstergelerinden biridir. Hangi yaklaşımı kullanıyorsanız, o yaklaşımın kendi alan yazınında hangi stratejilerin standart kabul edildiğini incelemek, raporlamanızı ilgili disiplinin beklentileriyle hizalar.

Veri Doygunluğunu (Saturation) Raporlamak

Nitel araştırmalarda örneklem büyüklüğü, nicel araştırmalardaki gibi önceden istatistiksel bir güç hesabıyla belirlenmez; bunun yerine veri doygunluğu kavramı kullanılır — yeni katılımcılardan artık yeni bir tema çıkmadığı nokta. Hakemler genellikle “kaç katılımcıyla doygunluğa ulaşıldığı nasıl belirlendi?” sorusunu sorar; bu soruya hazırlıklı olmak için yöntem bölümünde doygunluğun hangi noktada ve nasıl (örneğin son üç görüşmede yeni tema çıkmaması) tespit edildiğinin belirtilmesi gerekir. Bu raporlama, örneklem büyüklüğünün nicel mantıkla “küçük” bulunmasının önüne geçer.

Zengin Betimleme ile Aktarılabilirliği Güçlendirin

Aktarılabilirlik, bulguların başka bir bağlama genellenebilirliğinden çok, okuyucunun kendi bağlamıyla karşılaştırma yapabilmesi için yeterli ayrıntının sunulmasıdır. Bu, katılımcıların demografik özelliklerinin, araştırma ortamının ve veri toplama koşullarının ayrıntılı biçimde (ama kimliği ifşa etmeyecek şekilde) betimlenmesini gerektirir. Zayıf bir betimleme “araştırma bir devlet okulunda yürütülmüştür” derken, güçlü bir betimleme okulun büyüklüğünü, sosyoekonomik bağlamını ve araştırmanın yürütüldüğü dönemi somut biçimde aktarır — bu ayrıntı, okuyucunun bulguların kendi bağlamına ne ölçüde uygulanabilir olduğunu değerlendirmesini sağlar.

Zengin betimleme yalnızca bağlamı değil, bulguların kendisini de güçlendirir: katılımcı alıntılarının ham hâlde, bağlamından koparılmadan ve gerektiğinde araştırmacının yorumuyla birlikte sunulması, okuyucunun temaların veriden nasıl türetildiğini kendi gözüyle değerlendirmesine imkân tanır.

Pratik bir kural olarak, bir bulgunun altına tek bir kısa alıntı iliştirmek yerine, farklı katılımcılardan birbirini destekleyen en az iki veya üç alıntıyı yan yana sunmayı hedefleyin. Bu, o temanın tek bir kişinin görüşü değil, veride tekrar eden bir örüntü olduğunu somut biçimde gösterir. Böyle bir sunum hem inandırıcılığı hem aktarılabilirliği aynı anda güçlendirdiği için, yöntem bölümünün yanında bulgular bölümünün yazım biçimini de doğrudan etkiler.

Anahtar çıkarımlar

• Nitel araştırmada güvenirlik/geçerlik, nicel ölçütlerin (Cronbach’s alpha gibi) doğrudan uyarlanmasıyla değil, kendine özgü dört ölçütle (inandırıcılık, aktarılabilirlik, tutarlılık, teyit edilebilirlik) sağlanır.
• Katılımcı teyidi ve kodlayıcılar arası tutarlılık, uygulandıysa mutlaka yöntem bölümünde açıkça raporlanmalıdır.
• Veri doygunluğu, nitel araştırmada örneklem büyüklüğünün gerekçesidir ve nasıl tespit edildiği belirtilmelidir.
• Araştırmacı öznelliği (reflexivity), gizlenecek bir zayıflık değil, kısa bir paragrafla açıkça ele alınması gereken bir metodolojik unsurdur.
• Zengin betimleme, bulguların aktarılabilirliğini güçlendiren somut bir yazım stratejisidir.

Nitel bir çalışmanın güvenirlik ve geçerlik stratejilerini yöntem bölümünde sistematik ve ikna edici biçimde raporlamak, hakem sürecinde en sık karşılaşılan metodolojik sorgulamaların önüne geçer. Bu raporlamayı ilk taslakta değil de revizyon aşamasında son ana bırakmak, genellikle en çok zaman kaybettiren alışkanlıktır — çünkü hangi stratejinin zaten uygulandığını hatırlamak, veri toplama sürecinin üzerinden aylar geçtikten sonra çok daha zordur. Bu nedenle güvenirlik ve geçerlik stratejilerinin bir kontrol listesi hâlinde, veri toplama sürecinin hemen ardından not edilmesi, yazım aşamasında büyük zaman kazandırır. Yöntem bölümünüzü bu ölçütler açısından gözden geçirmek isterseniz, İstatistiksel Analiz Danışmanlığı kapsamında araştırma tasarımınızı birlikte değerlendirebiliriz.

İlgili Kaynaklar

• EQUATOR Network — nitel araştırma raporlaması dahil, araştırma raporlama kılavuzlarının tutulduğu küresel ağ.