چندگانه سازی — MICE
- معرفیشده توسط
- Donald B. Rubin
- سال
- 1987
- نوع
- Missing-data handling procedure
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
چندگانه سازی (MI)، که به طور رسمی توسط دونالد بی. روبین در سال ۱۹۸۷ معرفی شد، یک رویه آماری اصولی برای مدیریت دادههای گمشده است. به جای جایگزینی هر مقدار گمشده یک بار، MI شکافها را m بار پر میکند — هر بار مقادیر محتمل را از توزیع پیشبین پسین دادههای گمشده میکشد — و m مجموعه داده کامل تولید میکند. هر مجموعه داده به طور مستقل تحلیل میشود و نتایج با استفاده از قوانین تجمیع روبین در یک مجموعه واحد از برآوردها ترکیب میشوند. نوع MICE (چندگانه سازی چندمتغیره با معادلات زنجیرهای)، که توسط ون بورن و گروتهوس-اودهورن (۲۰۱۱) محبوب شد، این رویکرد را با جایگزینی هر متغیر به نوبه خود از طریق دنبالهای از مدلهای رگرسیون شرطی به انواع متغیرهای ترکیبی گسترش میدهد.
شهود پشت روش
مقادیر گمشده را مانند ورودیهای خالی در یک نظرسنجی در نظر بگیرید. به جای حدس زدن یک بار و امیدوار بودن به بهترین نتیجه، چندگانه سازی m حدس آگاهانه میزند — هر کدام کمی متفاوت، که نشاندهنده عدم قطعیت واقعی در مورد مقدار واقعی ممکن است باشد. پراکندگی در میان آن حدسها عدم قطعیت را به تحلیل منتقل میکند، بنابراین خطاهای استاندارد نهایی صادقانه هستند نه به طور مصنوعی باریک. اگر فقط یک بار حدس میزدید، وانمود میکردید که بیشتر از آنچه واقعاً میدانستید، میدانید؛ با حدس زدن m بار و ترکیب نتایج، عدم قطعیت ناشی از گمشدگی در برآوردهای گزارش شده حفظ میشود.
تاریخ
چارچوب آماری رسمی برای چندگانه سازی توسط دونالد بی. روبین توسعه یافت و در رساله او در سال ۱۹۸۷ با عنوان «چندگانه سازی برای عدم پاسخ در نظرسنجیها» ارائه شد. روبین قوانین تجمیع — که اکنون به طور جهانی قوانین روبین نامیده میشوند — را استخراج کرد که برآوردها را در مجموعه دادههای جایگزین شده به گونهای ترکیب میکند که عدم قطعیت ناشی از گمشدگی را به درستی در نظر میگیرد. این رویکرد با توسعه الگوریتم MICE، که چارچوب روبین را به مجموعه دادههایی با متغیرهای انواع ترکیبی با جایگزینی هر متغیر به صورت متوالی از طریق زنجیرهای از مدلهای شرطی گسترش میدهد، کاربرد عملی پیدا کرد. پیادهسازی نرمافزاری برجسته mice برای R، که توسط ون بورن و گروتهوس-اودهورن در مجله نرمافزار آماری در سال ۲۰۱۱ منتشر شد، این روش را برای محققان کاربردی در سراسر رشتهها در دسترس قرار داد و MICE را به عنوان استراتژی پیادهسازی غالب تثبیت کرد.
چه زمانی استفاده شود
چندگانه سازی زمانی مناسب است که یک مجموعه داده دارای مقادیر گمشده باشد و مکانیزم گمشدگی به طور محتمل MAR یا MCAR باشد. این روش برای متغیرهای پیوسته، طبقهبندی شده، دودویی، ترتیبی و ترکیبی کاربرد دارد و ساختارهای داده مقطعی، طولی و پانلی را برازش میکند. حداقل حجم نمونه حدود ۳۰ مورد نیاز است. این روش برای اهداف تحقیقات توصیفی، پیشبینانه و رابطهای مناسب است. هنگامی که گمشدگی MNAR است، چندگانه سازی استاندارد کافی نیست و باید با تحلیل حساسیت یا مدل انتخاب تکمیل شود. حذف فهرستی (تحلیل مورد کامل) تنها زمانی قابل قبول است که دادهها MCAR باشند و نسبت دادههای گمشده بسیار کوچک باشد؛ در غیر این صورت MI رویکرد ارجح است.
محدودیتها و ملاحظات
- به فرض MAR یا MCAR نیاز دارد؛ بدون مدلسازی اضافی قادر به تصحیح گمشدگی MNAR نیست.
- از نظر محاسباتی نسبت به جایگزینی منفرد یا حذف فهرستی، به ویژه با m بزرگ یا مجموعه دادههای بزرگ، پرهزینهتر است.
- کیفیت مقادیر جایگزین شده به مدل جایگزینی بستگی دارد — حذف پیشبینیکنندههای قوی گمشدگی از مدل جایگزینی، نتایج را اریب میکند.
- با نسبتهای بالای دادههای گمشده (بیش از حدود ۵۰٪)، حتی چندگانه سازی که به درستی مشخص شده باشد ممکن است فواصل اطمینان وسیعی ایجاد کند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- برآوردهای بدون اریب تحت MAR تولید میکند، برخلاف حذف فهرستی که به فرض قویتر MCAR نیاز دارد.
- عدم قطعیت ناشی از دادههای گمشده را از طریق قوانین تجمیع روبین به خطاهای استاندارد و فواصل اطمینان منتشر میکند و از دقت کاذب جایگزینی منفرد اجتناب میکند.
- انواع متغیرهای ترکیبی — پیوسته، دودویی، ترتیبی، اسمی — را در چارچوب MICE مدیریت میکند.
- با تقریباً هر مدل تحلیل پاییندستی سازگار است و نیازی به اصلاح مدل تحلیل مورد نظر ندارد.
- در نرمافزارهای آماری استاندارد (R mice, SPSS MULTIPLE IMPUTATION, Python IterativeImputer / miceforest) به خوبی پشتیبانی میشود.
کاربردها
- مدیریت عدم پاسخ به مورد در مجموعه دادههای نظرسنجی در مقیاس بزرگ در علوم اجتماعی و بهداشتی.
- آمادهسازی دادههای کارآزمایی بالینی برای تحلیل زمانی که اندازهگیریهای پیگیری گمشده هستند.
- مطالعات طولی و پانلی که در آن شرکتکنندگان در طول زمان ریزش میکنند.
- مدلسازی اقتصاد سنجی با سوابق اداری که دارای فیلدهای ناقص هستند.
- گام پیشپردازش در هر خط لوله تحلیلی که مدلهای پاییندستی به دادههای کامل نیاز دارند.
چگونه کار میکند
چگونه کار میکند
قبل از جایگزینی، الگوی گمشدگی بررسی میشود تا ارزیابی شود که آیا مکانیزم به طور محتمل «کاملاً تصادفی گمشده» (MCAR) یا «تصادفی گمشده» (MAR) است. MCAR به این معنی است که احتمال گمشدگی به هیچ داده مشاهده شده یا مشاهده نشدهای بستگی ندارد. MAR به این معنی است که ممکن است به مقادیر مشاهده شده بستگی داشته باشد اما به خود مقادیر گمشده مشاهده نشده خیر. اگر مکانیزم «تصادفی گمشده نیست» (MNAR) باشد — که در آن احتمال گمشده بودن یک مقدار به خود آن مقدار بستگی دارد — چندگانه سازی ساده کافی نیست و تحلیل حساسیت لازم است. نسبت دادههای گمشده نشان میدهد که چه تعداد مجموعه داده جایگزین شده m مورد نیاز است؛ یک راهنمای رایج m ≥ ۱۰۰ × (کسر گمشده) است.
الگوریتم MICE از طریق هر متغیر ناقص میچرخد و یک مدل رگرسیون را برازش میکند که آن متغیر را از سایر متغیرها (شامل مقادیر جایگزین شده قبلی) پیشبینی میکند. یک نمونه از پسین این مدل برای پر کردن ورودیهای گمشده استفاده میشود. چرخه برای همه متغیرهای ناقص تکرار میشود و تا زمانی که توزیعهای جایگزین شده تثبیت شوند — معمولاً ۵۰ یا بیشتر تکرار — ادامه مییابد. این یک مجموعه داده کامل تولید میکند. کل فرآیند m بار با بذرهای تصادفی متفاوت از ابتدا تکرار میشود و m مجموعه داده کامل جایگزین شده مستقل تولید میکند. انتخاب مدل جایگزینی (تطبیق میانگین پیشبین، رگرسیون لجستیک، درختان طبقهبندی و غیره) به نوع متغیر بستگی دارد: پیوسته، دودویی، ترتیبی یا اسمی.
هر یک از m مجموعه داده کامل شده با هر مدل آماری که محقق در ابتدا در نظر گرفته بود — رگرسیون، ANOVA، مدلسازی معادلات ساختاری و غیره — تحلیل میشود. این مرحله m مجموعه از برآوردهای پارامتر و خطاهای استاندارد تولید میکند، که همگی کمی متفاوت هستند زیرا m مجموعه داده در نحوه پر شدن مقادیر گمشده متفاوت هستند.
m مجموعه برآورد با استفاده از قوانین روبین در یک مجموعه واحد ترکیب میشوند. برآورد نقطه تجمیع شده میانگین حسابی m برآورد فردی است. واریانس تجمیع شده دارای دو جزء است: میانگین واریانس درون-جایگزینی (آنچه تحلیل با عدم وجود داده گمشده میداد) و واریانس بین-جایگزینی (عدم قطعیت اضافی ناشی از ندانستن مقادیر گمشده). نسبت واریانس بین-جایگزینی به کل واریانس، کسر اطلاعات گمشده است، که یک تشخیصدهنده مفید است. درجات آزادی به طور مناسب تنظیم میشوند. نتیجه یک جدول واحد از برآوردها و فواصل اطمینان است که به طور صادقانه هم تغییرپذیری نمونهگیری و هم عدم قطعیت ناشی از دادههای گمشده را منعکس میکند.
دامهای رایج
- تنظیم m به مقدار کم — یک قاعده سرانگشتی رایج m ≥ ۵ است، اما با نسبتهای غیر ناچیز دادههای گمشده، m بسیار بالاتر (مثلاً m ≥ ۱۰۰ × کسر گمشده) برای دستیابی به برآوردهای پایدار و قابل تکرار لازم است.
- حذف متغیر نتیجه یا سایر پیشبینیکنندههای مهم از مدل جایگزینی، جایگزینیهای اریب تولید میکند؛ مدل جایگزینی باید حداقل به اندازه مدل تحلیل غنی باشد.
- اعمال چندگانه سازی زمانی که مکانیزم MNAR است بدون تحلیل حساسیت تکمیلی، نتایجی میدهد که معتبر به نظر میرسند اما ممکن است به طور قابل توجهی اریب باشند.
- تجمیع نتایج با قوانین روبین فرض میکند که مدل تحلیل برای همه m مجموعه داده یکسان است و همگرایی الگوریتم MICE بررسی شده است — نمودارهای ردیابی میانگینها و واریانسهای جایگزین شده را برای تأیید همگرایی بررسی کنید.
پرسشهای متداول
چه تعداد مجموعه داده جایگزین شده (m) نیاز دارم؟
حداقل سنتی m = ۵ اغلب خیلی کم است. یک راهنمای عملی که به طور گسترده نقل شده است m ≥ ۱۰۰ × (کسر دادههای گمشده بیان شده به صورت درصد) است، به طوری که ۱۰٪ گمشدگی به حداقل m = ۱۰ و ۳۰٪ گمشدگی به حداقل m = ۳۰ نیاز دارد. m بالاتر خطای مونت کارلو را در برآوردهای تجمیع شده کاهش میدهد و به ویژه برای قابلیت تکرار مهم است.
تفاوت بین MCAR، MAR و MNAR چیست؟
MCAR (کاملاً تصادفی گمشده) به این معنی است که احتمال گمشده بودن یک مقدار به هیچ دادهای، مشاهده شده یا مشاهده نشده، نامرتبط است — دادهها به طور کاملاً تصادفی گمشدهاند. MAR (تصادفی گمشده) به این معنی است که احتمال گمشدگی میتواند به مقادیر مشاهده شده بستگی داشته باشد اما به خود مقدار گمشده مشاهده نشده خیر — هنگامی که بر اساس آنچه مشاهده کردهاید شرطی میکنید، گمشدگی تصادفی است. MNAR (تصادفی گمشده نیست) به این معنی است که احتمال گمشدگی به خود مقدار گمشده بستگی دارد. چندگانه سازی تحت MCAR و MAR معتبر است؛ تحت MNAR همچنان میتوان آن را اجرا کرد اما باید با تحلیل حساسیت تکمیل شود.
آیا چندگانه سازی دادههای واقعی ایجاد میکند؟
خیر. چندگانه سازی مقادیر محتمل را از مدلی از توزیع دادههای گمشده میکشد؛ اینها مقادیر گمشده واقعی نیستند. هدف این روش بازیابی دادههای اصلی نیست، بلکه تولید برآوردها و خطاهای استاندارد برای مدل تحلیل است که عدم قطعیت ناشی از گمشدگی را به درستی در نظر میگیرد.
آیا میتوانم از چندگانه سازی با متغیرهای طبقهبندی شده یا ترتیبی استفاده کنم؟
بله. چارچوب MICE انواع متغیرهای ترکیبی را با برازش یک مدل شرطی مناسب نوع برای هر متغیر مدیریت میکند: تطبیق میانگین پیشبین یا رگرسیون خطی برای متغیرهای پیوسته، رگرسیون لجستیک برای متغیرهای دودویی، رگرسیون لجستیک چندجملهای یا رگرسیون ترتیبی برای متغیرهای اسمی یا ترتیبی، و درختان طبقهبندی و رگرسیون به عنوان یک گزینه انعطافپذیر غیر پارامتری. هر متغیر به نوبه خود با استفاده از مدلهای مناسب نوع آن جایگزین میشود.
روشهای مرتبط
منابع
Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. Wiley.
باز کردن مرجع DOIکپی شد.van Buuren, S. & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.
باز کردن مرجع انتشارکپی شد.