Çoklu Atama — MICE
- Ortaya koyan
- Donald B. Rubin
- Yıl
- 1987
- Tür
- Missing-data handling procedure
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Çoklu atama (ÇA), ilk olarak 1987'de Donald B. Rubin tarafından tanıtılan, eksik verilerle başa çıkmak için ilkeli bir istatistiksel prosedürdür.
Her eksik değeri bir kez değiştirmek yerine, ÇA boşlukları m kez doldurur — her seferinde eksik verilerin sonsal öngörüsel dağılımından makul değerler çekerek — m adet tam veri kümesi üretir. Her veri kümesi bağımsız olarak analiz edilir ve sonuçlar Rubin'in havuzlama kuralları kullanılarak tek bir tahmin kümesinde birleştirilir. MICE (Zincirlenmiş Denklemlerle Çok Değişkenli Atama) varyantı, van Buuren ve Groothuis-Oudshoorn (2011) tarafından popülerleştirilmiş olup, her değişkeni sırayla koşullu regresyon modelleri dizisi aracılığıyla atayarak yaklaşımı karışık değişken türlerine genişletir.
Yöntemin mantığı
Eksik değerleri bir anketteki boş girişler gibi düşünün. Bir kez tahmin edip en iyisini ummak yerine, çoklu atama her biri biraz farklı olan m adet eğitimli tahmin yapar — gerçek değerin ne olabileceğine dair gerçek belirsizliği yansıtır. Bu tahminler arasındaki yayılma, belirsizliği analize taşır, böylece nihai standart hatalar yapay olarak dar olmak yerine dürüst olur. Yalnızca bir kez tahmin etmiş olsaydınız, gerçekte bildiğinizden daha fazlasını bildiğinizi iddia etmiş olurdunuz; m kez tahmin edip sonuçları birleştirerek, eksiklikten kaynaklanan belirsizlik bildirilen tahminlerde korunur.
Tarih
Çoklu atama için resmi istatistiksel çerçeve Donald B. Rubin tarafından geliştirilmiş ve 1987 tarihli Monografisi Multiple Imputation for Nonresponse in Surveys'de sunulmuştur. Rubin, tahminleri atanmış veri kümeleri arasında eksikliğin getirdiği belirsizliği doğru bir şekilde hesaba katan bir şekilde birleştiren, artık evrensel olarak Rubin'in kuralları olarak adlandırılan havuzlama kurallarını türetmiştir. Karışık türde değişkenlere sahip veri kümelerine her değişkeni koşullu modeller zinciri aracılığıyla sıralı olarak atayarak Rubin'in çerçevesini genişleten MICE algoritmasının geliştirilmesiyle yaklaşım pratik bir çekim kazandı. 2011 yılında Journal of Statistical Software'de yayınlanan van Buuren ve Groothuis-Oudshoorn tarafından hazırlanan R için dönüm noktası niteliğindeki yazılım uygulaması mice, yöntemi çeşitli alanlardaki uygulamalı araştırmacılar için erişilebilir hale getirdi ve MICE'yi baskın uygulama stratejisi olarak kurdu.
Ne zaman kullanılır?
Çoklu atama, bir veri kümesinde eksik değerler olduğunda ve eksiklik mekanizması muhtemelen MAR veya MCAR olduğunda uygundur. Sürekli, kategorik, ikili, sıralı ve karışık türdeki değişkenlere uygulanır ve kesitsel, boylamsal ve panel veri yapılarına uyar. Yaklaşık 30'luk minimum bir örneklem büyüklüğü gereklidir. Yöntem tanımlayıcı, öngörüsel ve ilişkisel araştırma amaçlarına uygundur. Eksikliğin MNAR olduğu durumlarda, standart çoklu atama yeterli değildir ve bir duyarlılık analizi veya bir seçim modeli ile desteklenmelidir. Liste bazlı silme (tam durum analizi), yalnızca veriler MCAR olduğunda ve eksik verinin oranı çok küçük olduğunda kabul edilebilirdir; aksi takdirde ÇA tercih edilen yaklaşımdır.
Sınırlar ve dikkat edilmesi gerekenler
- MAR veya MCAR varsayımını gerektirir; ek modelleme olmadan MNAR eksikliğini düzeltemez.
- Tekil atama veya liste bazlı silmeden daha fazla hesaplama gerektirir, özellikle büyük m veya büyük veri kümeleriyle.
- Atanan değerlerin kalitesi atama modeline bağlıdır — eksikliğin güçlü öngörücülerini atama modelinden çıkarmak sonuçları saptırır.
- Yüksek eksik veri oranlarında (yaklaşık %50'nin üzerinde), doğru şekilde belirtilmiş çoklu atama bile geniş güven aralıkları verebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- MAR altında, liste bazlı silmenin daha güçlü MCAR varsayımını gerektirmesinin aksine, yansız tahminler üretir.
- Rubin'in havuzlama kuralları aracılığıyla eksik verilerden gelen belirsizliği standart hatalara ve güven aralıklarına yayar, tekil atamanın yapay kesinliğini önler.
- Aynı MICE çerçevesi içinde karışık değişken türlerini — sürekli, ikili, sıralı, nominal — işler.
- Neredeyse tüm sonraki analiz modelleriyle uyumludur, amaçlanan analizde herhangi bir değişiklik gerektirmez.
- Standart istatistiksel yazılımlarda (R mice, SPSS MULTIPLE IMPUTATION, Python IterativeImputer / miceforest) iyi desteklenir.
Uygulama alanları
- Sosyal ve sağlık bilimlerinde büyük ölçekli anket veri kümelerinde madde yanıtlamama sorununu ele alma.
- Takip ölçümlerinin eksik olduğu durumlarda klinik çalışma verilerini analize hazırlama.
- Katılımcıların zamanla kaybolduğu boylamsal ve panel çalışmaları.
- Eksik alanlara sahip idari kayıtlarda ekonometrik modelleme.
- Sonraki modellerin tam veri gerektirdiği herhangi bir analiz işlem hattında ön işleme adımı.
Nasıl çalışır?
Nasıl çalışır?
Atama yapmadan önce, eksiklik mekanizmasının Tamamen Rastgele Eksik (MCAR) veya Rastgele Eksik (MAR) olup olmadığını değerlendirmek için eksiklik deseni incelenir. MCAR, eksikliğin olasılığının herhangi bir gözlemlenen veya gözlemlenmemiş veriye bağlı olmadığı anlamına gelir. MAR, gözlemlenen değerlere bağlı olabileceği ancak gözlemlenmemiş eksik değerlerin kendisine bağlı olmadığı anlamına gelir. Mekanizma Rastgele Eksik Olmayan (MNAR) ise — bir değerin eksik olma olasılığı o değere bağlıdır — basit çoklu atama yeterli değildir ve bir duyarlılık analizi gereklidir. Eksik verinin oranı, kaç adet atanmış veri kümesine (m) ihtiyaç duyulduğunu gösterir; yaygın bir kılavuz m ≥ 100 × (eksik oranı) şeklindedir.
MICE algoritması, eksik değişkenlerin her biri arasında döngü yapar ve o değişkeni diğer tüm değişkenlerden (daha önce atanmış değerler dahil) tahmin eden bir regresyon modeli uydurur. Bu modelin sonsal dağılımından bir çekim, eksik girişleri doldurmak için kullanılır. Döngü, tüm eksik değişkenler için tekrarlanır ve atanan dağılımlar stabilize olana kadar — yaygın olarak 50 veya daha fazla iterasyon — tekrarlanır. Bu, bir adet tamamlanmış veri kümesi üretir. Tüm süreç, farklı rastgele tohumlarla m kez sıfırdan tekrarlanır ve bağımsız olarak atanmış m adet tam veri kümesi elde edilir. Atama modeli seçimi (öngörüsel ortalama eşleştirme, lojistik regresyon, sınıflandırma ağaçları vb.), değişken türüne bağlıdır: sürekli, ikili, sıralı veya nominal.
m adet tamamlanmış veri kümesinin her biri, araştırmacının orijinal olarak amaçladığı istatistiksel modelle — regresyon, ANOVA, yapısal eşitlik modellemesi vb. — analiz edilir. Bu adım, m adet parametre tahmini ve standart hata kümesi üretir, hepsi m veri kümeleri eksik değerlerin nasıl doldurulduğu konusunda farklılık gösterdiği için biraz farklıdır.
m adet tahmin kümesi, Rubin'in kuralları kullanılarak tek bir kümede birleştirilir. Havuzlanmış nokta tahmini, m adet bireysel tahminin aritmetik ortalamasıdır. Havuzlanmış varyans iki bileşenden oluşur: atama içi ortalama varyans (eksiklik olmadan analizin vereceği şey) ve atamalar arası varyans (eksik değerleri bilmemekten kaynaklanan ek belirsizlik). Atamalar arası varyansın toplam varyansa oranı, eksik bilgi oranıdır, faydalı bir tanılama aracıdır. Serbestlik dereceleri buna göre ayarlanır. Sonuç, hem örnekleme değişkenliğini hem de eksik veriden kaynaklanan belirsizliği dürüstçe yansıtan tahminler ve güven aralıklarından oluşan tek bir tablodur.
Sık yapılan hatalar
- m'yi çok düşük ayarlamak — yaygın bir kural m ≥ 5'tir, ancak önemsiz olmayan eksik oranlarda kararlı, tekrarlanabilir tahminler elde etmek için çok daha yüksek bir m (örneğin, m ≥ 100 × eksik oranı) gerekir.
- Sonuç değişkenini veya diğer önemli öngörücüleri atama modelinden çıkarmak saptırılmış atamalara neden olur; atama modeli, analiz modeli kadar zengin olmalıdır.
- Mekanizmanın MNAR olduğu durumlarda, ek bir duyarlılık analizi olmadan çoklu atama uygulamak, geçerli görünen ancak önemli ölçüde saptırılmış olabilecek sonuçlar verir.
- Rubin'in kurallarıyla sonuçları havuzlamak, analiz modelinin tüm m veri kümeleri için aynı olduğunu ve MICE algoritmasının yakınsamasının kontrol edildiğini varsayar — yakınsamayı doğrulamak için atanan ortalamaların ve varyansların iz grafiklerini inceleyin.
Sık sorulan sorular
Kaç adet atanmış veri kümesine (m) ihtiyacım var?
Geleneksel minimum m = 5 genellikle çok düşüktür. Yaygın olarak alıntılanan pratik bir kılavuz m ≥ 100 × (eksik veri oranı yüzde olarak ifade edilir) şeklindedir, böylece %10 eksiklik en az m = 10, %30 eksiklik ise en az m = 30 gerektirir. Daha yüksek m, havuzlanmış tahminlerde Monte Carlo hatasını azaltır ve özellikle tekrarlanabilirlik için önemlidir.
MCAR, MAR ve MNAR arasındaki fark nedir?
MCAR (Tamamen Rastgele Eksik), bir değerin eksik olma olasılığının herhangi bir veriye, gözlemlenen veya gözlemlenmemiş — verilerin tamamen şans eseri eksik olmasıyla ilgisiz olması anlamına gelir. MAR (Rastgele Eksik), eksikliğin olasılığının gözlemlenen değerlere bağlı olabileceği ancak gözlemlenmemiş eksik değere bağlı olmadığı anlamına gelir — gözlemlediğiniz şeye koşullandığınızda, eksiklik rastgeledir. MNAR (Rastgele Eksik Olmayan), eksikliğin olasılığının eksik değere bağlı olduğu anlamına gelir. Çoklu atama MCAR ve MAR altında geçerlidir; MNAR altında hala çalıştırılabilir ancak bir duyarlılık analizi ile desteklenmelidir.
Çoklu atama gerçek veri üretir mi?
Hayır. Çoklu atama, eksik veri dağılımının bir modelinden çekilen makul değerler üretir; bunlar gerçek eksik değerler değildir. Yöntemin amacı orijinal verileri kurtarmak değil, eksikliğin getirdiği belirsizliği doğru bir şekilde hesaba katan analiz modeli için tahminler ve standart hatalar üretmektir.
Kategorik veya sıralı değişkenlerle çoklu atama kullanabilir miyim?
Evet. MICE çerçevesi, her değişken için türe uygun bir koşullu model uydurarak karışık değişken türlerini işler: sürekli değişkenler için öngörüsel ortalama eşleştirme veya doğrusal regresyon, ikili değişkenler için lojistik regresyon, nominal veya sıralı değişkenler için politoomik lojistik regresyon veya sıralı regresyon ve esnek bir parametrik olmayan seçenek olarak sınıflandırma ve regresyon ağaçları. Her değişken, türüne uygun modeller kullanılarak sırayla atanır.
İlgili yöntemler
Kaynaklar
Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. Wiley.
DOI kaynağını açKopyalandı.van Buuren, S. & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.
Yayın kaynağını açKopyalandı.