Araştırma Yöntemleri · Ders 10/14
Geçerlik ve Güvenirlik: Nicel ve Nitel Kalite Ölçütleri
Nicel araştırmada kapsam, yapı ve ölçüt geçerliği ile iç tutarlılığı; nitel araştırmada inandırıcılık, aktarılabilirlik, tutarlılık, teyit edilebilirlik ve bunları sağlayan stratejileri öğrenirsin.
Jüri üyelerinin en sevdiği sorulardan biri: “Bulgularınıza neden güvenelim?” Bu sorunun cevabı tezinin kalite bölümündedir. Nicel araştırmada bu bölüm geçerlik ve güvenirlik, nitel araştırmada çoğu zaman inandırıcılık (güvenilebilirlik) başlığıyla yazılır.
- Geçerlik
- Bir aracın ölçmek istediği şeyi gerçekten ölçme derecesi. Hedefi tam ortadan vurmak.
- Güvenirlik
- Bir ölçümün tutarlılığı ve kararlılığı; aynı koşullarda tekrarlandığında benzer sonuç verme derecesi. Atışların hep aynı noktaya gitmesi.
Nicel araştırmada geçerlik türleri
| Tür | Soru | Nasıl kanıtlanır? |
|---|---|---|
| Kapsam (içerik) geçerliği | Maddeler ölçülen alanı yeterince ve dengeli temsil ediyor mu? | Belirtke tablosu, uzman görüşü, Lawshe kapsam geçerlik oranı (KGO) ve indeksi (KGİ) |
| Yapı geçerliği | Araç, kuramsal yapıyı (ör. üç boyutlu kaygı yapısı) gerçekten yansıtıyor mu? | Açımlayıcı faktör analizi (AFA), doğrulayıcı faktör analizi (DFA), yakınsak ve ayırt edici geçerlik |
| Ölçüt geçerliği | Araçtan alınan puanlar, aynı yapıyı ölçen başka bir ölçütle ilişkili mi? | Uyum (eş zamanlı) geçerliği: aynı anda başka bir ölçekle korelasyon; yordama geçerliği: ileride ölçülen bir ölçütü yordama |
| Görünüş geçerliği | Araç, katılımcıya ölçmesi gerekeni ölçüyor gibi görünüyor mu? | Katılımcı ve uzman değerlendirmesi (tek başına yeterli kanıt sayılmaz) |
Lawshe (1975) yönteminde uzmanlar her maddeyi “gerekli / yararlı ama yetersiz / gereksiz” olarak değerlendirir.
KGO = (Ng / (N / 2)) − 1
Ng: Maddeye “gerekli” diyen uzman sayısı, N: Toplam uzman sayısı
Örnek: 10 uzmandan 9’u bir maddeye “gerekli” dedi.
KGO = (9 / 5) − 1 = 0,80
10 uzman için Lawshe tablosundaki minimum değer 0,62’dir. 0,80 > 0,62 olduğundan madde korunur. Tüm korunan maddelerin KGO ortalaması kapsam geçerlik indeksini (KGİ) verir.
| Gösterge | Kabul edilebilir | İyi | Not |
|---|---|---|---|
| KMO (AFA öncesi) | ≥ ,60 | ≥ ,80 | Örneklem yeterliğini gösterir; Bartlett küresellik testinin anlamlı olması da beklenir. |
| χ²/sd (DFA) | ≤ 5 (bazı kaynaklarda) | ≤ 3 | Örneklem büyüklüğüne duyarlıdır; tek başına yorumlanmaz. |
| CFI / TLI (DFA) | ≥ ,90 | ≥ ,95 | Karşılaştırmalı uyum indeksleridir. |
| RMSEA (DFA) | ≤ ,08 | ≤ ,05 | Güven aralığıyla birlikte raporlanması önerilir. |
| SRMR (DFA) | ≤ ,08 | — | Hu ve Bentler (1999) ,08’i kesme noktası olarak önerir. |
Bu tablodaki değerler yöntem literatüründe sık kullanılan kesme noktalarıdır; kaynaklar arasında farklılık gösterebilir. Hangi ölçütü kullandığını kaynağıyla birlikte yaz ve tek bir indekse değil, indekslerin bütününe bakarak karar ver. AFA ve DFA uygulamasının ayrıntısı, anket ve ölçek modülündeki ölçek geliştirme ve ölçek uyarlama derslerinde ele alınır.
Nicel araştırmada güvenirlik
| Tür | Ne ölçer? | Gösterge |
|---|---|---|
| İç tutarlılık | Maddelerin aynı yapıyı tutarlı biçimde ölçmesi | Cronbach alfa, McDonald omega; iki kategorili maddelerde KR-20 |
| Test-tekrar test | Zaman içinde kararlılık | İki uygulama arası Pearson r (ör. 2–4 hafta arayla) |
| Eşdeğer formlar | Paralel iki formun tutarlılığı | Formlar arası korelasyon |
| İki yarı | Testin iki yarısı arasındaki tutarlılık | Spearman-Brown, Guttman |
| Puanlayıcılar arası | Farklı puanlayıcıların uyumu | Cohen kappa, sınıf içi korelasyon (ICC) |
Ölçeğin geçerli ve güvenilir olduğu bilinmektedir.
Nitel araştırmada kalite: Lincoln ve Guba ölçütleri
Nitel araştırmada istatistiksel geçerlik ve güvenirlik kavramları doğrudan kullanılamaz. Lincoln ve Guba (1985) bunların yerine dört ölçüt önermiştir. Türkçe literatürde bu ölçütler farklı karşılıklarla da geçer (ör. iç geçerlik/inandırıcılık, dış geçerlik/aktarılabilirlik).
| Nicel | Nitel (Lincoln ve Guba) | Temel soru | Stratejiler |
|---|---|---|---|
| İç geçerlik | İnandırıcılık (credibility) | Bulgular katılımcıların gerçekliğini doğru yansıtıyor mu? | Uzun süreli etkileşim, çeşitleme, uzman incelemesi, üye kontrolü, aykırı durum analizi |
| Dış geçerlik | Aktarılabilirlik (transferability) | Bulgular benzer bağlamlara aktarılabilir mi? | Ayrıntılı (yoğun) betimleme, amaçlı örnekleme, bağlam ve katılımcı özelliklerinin tanımlanması |
| İç güvenirlik | Tutarlılık (dependability) | Süreç tutarlı ve izlenebilir mi? | Kodlayıcılar arası uyum, denetim izi, araştırma sürecinin ayrıntılı raporu |
| Dış güvenirlik / nesnellik | Teyit edilebilirlik (confirmability) | Bulgular araştırmacının önyargısı değil, veriler mi? | Ham verilerin saklanması, doğrudan alıntılar, yansıtıcı günlük, dış denetçi |
Nitel kalite stratejileri
- Uzman görüşü / uzman incelemesi (peer debriefing): Görüşme formu, kodlar ve temalar alanında ve nitel yöntemde deneyimli bir uzmanla tartışılır.
- Üye kontrolü (member checking): Döküm ya da bulgu özeti katılımcılara gönderilir; yorumların onların deneyimini yansıtıp yansıtmadığı sorulur.
- Çeşitleme (triangulation): Farklı veri kaynakları (görüşme + gözlem + doküman), farklı araştırmacılar ya da farklı yöntemler kullanılır.
- Kodlayıcılar arası uyum: Verinin bir kısmı iki araştırmacı tarafından bağımsız kodlanır ve uyum hesaplanır.
- Yoğun betimleme: Bağlam, katılımcılar ve süreç okuyucunun aktarılabilirliğe karar verebileceği ayrıntıda anlatılır; bulgular doğrudan alıntılarla desteklenir.
- Denetim izi (audit trail): Ham veriler, kod listeleri, analiz notları ve kararlar saklanır.
- Araştırmacı yansıtıcılığı: Araştırmacının konuyla ilişkisi, varsayımları ve rolü açıkça yazılır.
- Aykırı durum analizi: Genel örüntüye uymayan durumlar gizlenmez, tartışılır.
Miles ve Huberman (1994) formülü:
Uyum yüzdesi = Görüş birliği / (Görüş birliği + Görüş ayrılığı) × 100
Örnek: Rastgele seçilen 3 görüşme dökümünde iki kodlayıcı 120 veri parçasını bağımsız kodladı. 104 parçada aynı kodu verdiler, 16 parçada farklı kod verdiler.
Uyum = 104 / (104 + 16) × 100 = %86,7
Uyum için evrensel bir eşik yoktur; Türkçe literatürde Miles ve Huberman’a (1994) dayanılarak çoğu zaman %80 ve üzeri uyum yeterli, %90’a yakın değerler güçlü kabul edilir. Kullandığın ölçütü kaynağıyla belirt. Ayrışan kodlar üzerinde tartışılarak uzlaşı sağlanır. Daha katı bir gösterge isteniyorsa şansa bağlı uyumu düzelten Cohen kappa katsayısı da raporlanabilir.
Araştırmanın inandırıcılığını artırmak için katılımcılarla görüşme öncesinde ön görüşmeler yapılarak güven ilişkisi kurulmuş, görüşme dökümleri katılımcılara gönderilerek üye kontrolü yapılmıştır. On iki katılımcıdan on biri geri dönüş yapmış; bunlardan dokuzu dökümleri olduğu gibi onaylamış, ikisi küçük düzeltmeler önermiştir. Aktarılabilirlik için çalışma grubu, okulların bağlamı ve veri toplama süreci ayrıntılı biçimde betimlenmiş; bulgular doğrudan alıntılarla desteklenmiştir. Tutarlılık için dökümlerin %25’i nitel araştırma deneyimine sahip ikinci bir araştırmacı tarafından bağımsız olarak kodlanmış ve kodlayıcılar arası uyum %88 olarak hesaplanmıştır. Teyit edilebilirlik için ses kayıtları, dökümler, kod listeleri ve analiz notları araştırma sonrasında incelenebilecek şekilde saklanmıştır.
Görüşme formunun geçerliği ve güvenirliği uzman görüşü ile sağlanmış, Cronbach alfa katsayısı hesaplanmıştır.
Araştırmanın inandırıcılığı için üye kontrolü, çeşitleme, uzun süreli etkileşim, uzman incelemesi ve dış denetim yapılmıştır.
Kendini dene
Kendini dene
Geçerlik, güvenirlik ve inandırıcılık kontrolü
0/7Takıldığın bir yer mi var?
Bu konuda sık sorulanlar