İçeriğe atla
Arama sonuçlarına dön

Doğrulayıcı Araştırma — Kuram Sınayan Nicel Tasarım

Ortaya koyan
Karl Popper (falsificationism); formalized in behavioral sciences by Paul Meehl and others
Yıl
1934 (Popper); widely adopted in social sciences from 1960s onward
Tür
Quantitative research design
Aile
Survey / observational design

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Doğrulayıcı araştırma, araştırmacının veri toplama işleminden önce mevcut kuramdan türetilmiş hipotezleri belirttiği ve ardından verilerin bu hipotezleri destekleyip desteklemediğini veya çürütüp çürütmediğini sınadığı tümdengelimsel bir nicel tasarımdır.

Veriden fikir üreten keşifsel yaklaşımların aksine, doğrulayıcı araştırma yerleşik bir kuramsal çerçeve ile başlar, öngörüleri önceden kaydeder ve bu öngörüleri ampirik kanıtlara karşı değerlendirmek için istatistiksel testler uygular. Hipotez odaklı sosyal, davranışsal ve sağlık bilimi araştırmalarının bel kemiğidir.

Yöntemin mantığı

Doğrulayıcı araştırmayı, duruşma başlamadan önce mahkeme kararının hazır olması gibi düşünün — ancak 'karar' önyargılı bir yargı değil, önceki kuramdan türetilmiş kesin olarak belirtilmiş bir hipotezdir. Araştırmacı şöyle der: 'X kuramı, A'nın B ile pozitif ilişkili olduğunu öngörüyor. Veri toplayıp bu iddiayı sınayacağım.' Çalışma daha sonra bu öngörünün yanlışlanması için adil bir şans tanıyacak şekilde tasarlanır. Veriler öngörüyle tutarlıysa, kuram ampirik destek alır; değilse, kuram revize edilmelidir. Karl Popper tarafından ortaya atılan bu yanlışlanabilirlik ölçütü, doğrulayıcı bilimi salt spekülasyondan ayıran şeydir.

Tarih

Doğrulayıcı araştırmanın felsefi temeli, bilimsel hipotezlerin ampirik kanıtlarla çürütülebilir olması gerektiğini savunan Karl Popper'ın yanlışlanabilirlik ilkesinde yatmaktadır (Logik der Forschung, 1934; The Logic of Scientific Discovery, 1959 olarak çevrilmiştir). Bu ilke, 1960'lar-1990'lar boyunca Neyman-Pearson hipotez testi istatistikleri aracılığıyla sosyal bilimlerde operasyonel hale getirildi ve Paul Meehl ve Jacob Cohen gibi metodologların tekrarlama çağrıları ile desteklendi. 2010'ların tekrarlama krizi, doğrulayıcı mantık için pratik bir uygulama mekanizması olarak ön kayıtlama üzerine odaklanmayı yoğunlaştırdı.

Ne zaman kullanılır?

Belirli bir kuram veya modelin zaten mevcut olduğu ve siz de onun öngörülerini yeni ampirik kanıtlara karşı değerlendirmek istediğinizde doğrulayıcı araştırmayı kullanın — örneğin, doğrulanmış bir müdahalenin yeni bir popülasyonda anksiyeteyi azaltıp azaltmadığını veya örgütsel bağlılığın yapısal bir modelinin farklı bir kültürel bağlamda geçerli olup olmadığını test etmek. Yeterince büyük bir örneklem (a priori güç analizi ile belirlenir, tipik olarak orta düzeydeki etkiler için N >= 80–100), nicel sonuçlar ve veri toplama işleminden önce formüle edilmiş açıkça yanlışlanabilir hipotezler gerektirir. Hipotezleriniz için önceden bir kuramsal temeliniz olmadığında, yapılar doğrulanmış ölçümlerle henüz operasyonel hale getirilmediğinde veya amaç fikir üretmek yerine test etmek olduğunda doğrulayıcı tasarımı kullanmayın — bu durumlarda keşifsel veya betimsel tasarımlar daha uygundur.

Sınırlar ve dikkat edilmesi gerekenler

  • İyi geliştirilmiş bir kuramsal çerçeve gerektirir; alanın yetersiz anlaşıldığı durumlarda keşifsel çalışmanın yerini tutamaz.
  • Tek bir doğrulayıcı çalışma nadiren kesin kanıt sağlar — güçlü sonuçlara varmadan önce tekrarlama gereklidir.
  • Sonuçlar, operasyonel tanımların geçerliliği ve örneğin temsil edilebilirliği ile sınırlıdır.
  • Ön kayıtlama protokollerine sıkı sıkıya bağlılık disiplin gerektirir; açıklanmayan sapmalar doğrulayıcı iddiayı zayıflatır.
  • İkili hipotez testi çerçevesi (reddet / reddetmekte başarısız ol), kanıt birikiminin sürekli doğasını gizleyebilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Ön kayıtlama sürdürüldüğünde belirli bir kuramsal iddia lehine veya aleyhine en güçlü kanıtı sağlar.
  • Önceden belirtilmiş hipotezler ve analiz planları, yanlış pozitif oranlarını artıran birçok serbestlik derecesi endişesini ortadan kaldırır.
  • Dergi ve fon kuruluşları tarafından giderek daha fazla talep edilen açık bilim ve tekrarlanabilirlik standartlarıyla uyumludur.
  • Bağımsız çalışmalar boyunca doğrudan tekrarlama yoluyla bilgi birikimini sağlar.
  • İstatistiksel güç analizi, çalışmanın beklenen etkiyi tespit etmek için yeterli büyüklükte olmasını sağlar.

Uygulama alanları

  • Teorik olarak türetilmiş bir müdahalenin (örneğin, bilişsel-davranışçı terapi protokolü) klinik bir örneklemde semptom şiddetini azaltıp azaltmadığını test etmek.
  • İş tatminine ilişkin bir yapısal eşitlik modelinin yeni bir ulusal veya kültürel bağlamda tekrarlanıp tekrarlanmadığını değerlendirmek.
  • Psikolojik bir ölçeğin öngörülen faktör yapısını, doğrulayıcı faktör analizi (CFA) kullanarak bağımsız bir doğrulama örneğinde doğrulamak.
  • Önceden belirtilmiş bir aracılık değişkeninin (örneğin, öz-yeterlik) bir tedavinin bir sonuç üzerindeki etkisini iletip iletmediğini değerlendirmek.
  • Mevcut bir bulgunun genellenebilirliğini değerlendirmek için iki yapı arasındaki yayınlanmış bir korelasyonu yeni bir popülasyonda tekrarlamak.
  • Klinik denemeler veya açık bilim kaydı üzerinde önceden kaydedilmiş sonuçlar ve analizlerle bir farmakolojik veya eğitsel müdahaleyi kontrol koşuluna karşı test etmek.

Nasıl çalışır?

Nasıl çalışır?

1

Araştırmacı yerleşik bir kuramsal çerçeve ile başlar ve bir veya daha fazla kesin, yanlışlanabilir hipotez türetir. Her hipotez, herhangi bir veri toplanmadan önce bir ilişkinin veya farkın beklenen yönünü veya büyüklüğünü belirtir. Hipotezlerin önceden kaydedilmesi (OSF veya AsPredicted gibi platformlarda), keşifsel bulguların sonradan doğrulayıcı olarak yeniden etiketlenmesini önlemek için giderek daha fazla gerekmektedir.

2

Her kuramsal yapı, doğrulanmış araçlar, ölçekler veya operasyonel tanımlar ile ölçülebilir değişkenlere dönüştürülür. Örnekleme stratejisi, örneklem büyüklüğü (a priori güç analizi yoluyla belirlenir), veri toplama prosedürleri ve kullanılacak istatistiksel testler önceden belirtilir. Bu ön-belirtim, bir doğrulayıcı çalışmayı keşifsel bir çalışmadan resmi olarak ayıran şeydir.

3

Veriler, önceden belirtilen protokole göre toplanır — yaygın olarak standartlaştırılmış anketler, yapılandırılmış gözlemler veya ikincil veri kümelerinden çıkarma yoluyla. Protokole sıkı sıkıya bağlı kalmak esastır; çalışmanın doğrulayıcı karakterini korumak için sapmalar belgelenmeli ve raporlanmalıdır.

4

Önceden belirtilen istatistiksel test uygulanır (örneğin, t-testi, ANOVA, regresyon, yapısal eşitlik modellemesi). Sonuç, önceden belirtilen karar kuralına karşı değerlendirilir — tipik olarak önceden belirlenmiş bir alfa düzeyi (yaygın olarak .05 veya daha sıkı doğrulayıcı iddialar için .01). Etki büyüklükleri ve güven aralıkları, pratik anlamlılığı iletmek için p-değerlerinin yanında raporlanır.

5

Araştırmacı, verilerin her bir hipotezi destekleyip desteklemediği veya desteklemediği konusunda sonuçlar çıkarır. Sıfır hipotezini reddetmede başarısızlık, sıfır hipotezini doğrulamak anlamına gelmez; alternatif hipotez için yetersiz kanıt olduğunu gösterir. Sonuçlar, çalışmanın tasarımı, örneği ve operasyonel tanımları ile sınırlıdır. Bağımsız örneklemler boyunca tekrarlanan gerçek doğrulayıcı bulgular en güçlü kanıt ağırlığını taşır.

Sık yapılan hatalar

  • HARKing (Sonuçlar Bilindikten Sonra Hipotez Oluşturma) — keşifsel bulguları önceden belirtilmiş doğrulayıcı hipotezlermiş gibi sunmak, yanlış pozitif oranlarını artırır ve bir tür araştırma suistimali olarak kabul edilir.
  • Yetersiz güçlendirilmiş tasarımlar — a priori güç analizi yapmamak, gerçek etkileri güvenilir bir şekilde tespit edemeyen çalışmalara yol açar, bu da bilgilendirici olmayan belirsiz sıfır sonuçlarına neden olur.
  • Anlamlı olmayan bir sonucu sıfır hipotezinin doğrulanması olarak yanlış yorumlamak — alfa düzeyinin üzerindeki bir p-değeri, yalnızca alternatif hipotez için kanıtın yetersiz olduğu, sıfır hipotezinin doğru olduğu anlamına gelmez.
  • Doğrulanmamış veya geçici ölçümler kullanmak — kuramsal yapılar hakkındaki doğrulayıcı sonuçlar, onları operasyonel hale getirmek için kullanılan araçların geçerliliği kadar güçlüdür.
  • Anlamlı olduğu bildirilen yalnızca olanları raporlarken birden fazla planlanmamış analiz yapmak — bu p-hacking'dir ve doğrulayıcı tasarımın çıkarımsal mantığını bozar.

Sık sorulan sorular

Doğrulayıcı ve keşifsel araştırma arasındaki fark nedir?

Keşifsel araştırma, alanın yetersiz anlaşıldığı durumlarda verilerden hipotezler veya modeller üretir; doğrulayıcı araştırma, önceki kuramdan türetilmiş hipotezleri yeni verilere karşı test eder. Temel resmi ayrım zamanlamadır: doğrulayıcı araştırmada, hipotezler ve analiz planları veri toplama işleminden önce tam olarak belirtilir; keşifsel araştırmada ise analiz sırasında veya sonrasında ortaya çıkar. Her ikisi de önemli roller üstlenir, ancak yalnızca önceden belirtilmiş doğrulayıcı testler yanlış pozitif oranını belirtilen alfa düzeyinde kontrol eder.

Doğrulayıcı araştırma için ön kayıtlama zorunlu mudur?

Kesin olarak konuşmak gerekirse, ön kayıtlama bir çalışmayı yalnızca etiketlenmiş olmaktan ziyade doğrulanabilir şekilde doğrulayıcı yapan mekanizmadır. Zaman damgalı, kamuya açık bir ön kayıtlama olmadan, okuyucular önceden belirtilmiş hipotezleri sonradan yapılan gerekçelerden ayırt edemezler. Özellikle psikoloji ve tıpta birçok dergi artık doğrulayıcı iddialar için ön kayıtlama gerektirmektedir. Platformlar arasında OSF Kayıtları, AsPredicted ve ClinicalTrials.gov bulunmaktadır.

Aynı çalışmada hem doğrulayıcı hem de keşifsel analizler yapabilir miyim?

Evet — bu yaygındır ve meşrudur, ancak iki analiz türü raporda açıkça ayırt edilmelidir. Önceden belirtilmiş analizler doğrulayıcı olarak etiketlenir ve belirtilen alfa düzeyi ile yorumlanır. Verilere baktıktan sonra yapılan ek analizler keşifsel olarak etiketlenir, bulguları hipotez üretici olarak kabul edilir ve güçlü sonuçlara varmadan önce tekrarlama gerektirir.

Doğrulayıcı bir çalışma için ne kadar örneklem büyüklüğüne ihtiyacım var?

Örneklem büyüklüğü, veri toplama işleminden önce, teorik olarak anlamlı olacak en küçük etki büyüklüğüne, istenen güce (geleneksel olarak .80 veya .90) ve alfa düzeyine dayalı olarak a priori bir güç analizi ile belirlenmelidir. Orta düzeydeki bir etki için (Cohen's d = 0.50 veya r = .30), güç = .80 ve alfa = .05 düzeyinde, tipik gereksinimler teste bağlı olarak yaklaşık 50–130 katılımcıdır. Örneklem büyüklüğünü sonradan gerekçelendirmek için mevcut bir veri kümesinin kullanılması doğrulayıcı bir uygulama değildir.

Doğrulayıcı bir çalışma bir kuramı kanıtlar mı?

Tek bir çalışma bir kuramı kanıtlamaz. Doğrulayıcı bir çalışma, bir kuramın öngörüleriyle tutarlı kanıtlar sağlayabilir, ancak kanıt, değişken operasyonel tanımlar, örneklemler ve tasarımlar kullanan birden fazla bağımsız çalışma boyunca yakınsak kanıt gerektirir. Popper'ın çerçevesi, kuramların yalnızca desteklenebileceğini veya çürütülebileceğini, kanıtlanamayacağını savunur — amaç zamanla tekrarlanabilir, yanlışlanabilir kanıtların birikimidir.

İlgili yöntemler

Kaynaklar

  1. Popper, K. R. (1959). The Logic of Scientific Discovery. Hutchinson.

    ISBN: 978-0415278447
    Kopyalandı.
  2. Kline, R. B. (2013). Beyond Significance Testing: Statistics Reform in the Behavioral Sciences (2nd ed.). American Psychological Association.

    ISBN: 978-1433812378
    Kopyalandı.