Множественная импутация — MICE
- Автор метода
- Donald B. Rubin
- Год
- 1987
- Тип
- Missing-data handling procedure
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Множественная импутация (МИ), формально введенная Дональдом Б. Рубином в 1987 году, является принципиальной статистической процедурой для обработки пропущенных данных.
Вместо однократной замены каждого пропущенного значения, МИ заполняет пробелы m раз — каждый раз извлекая правдоподобные значения из апостериорного предиктивного распределения пропущенных данных — создавая m полных наборов данных. Каждый набор данных анализируется независимо, а результаты объединяются в единый набор оценок с использованием правил объединения Рубина. Вариант MICE (многомерная импутация с использованием цепных уравнений), популяризированный ван Бюреном и Гроотхуисом-Оудсхорном (2011), расширяет подход на смешанные типы переменных, импутируя каждую переменную по очереди через последовательность условных регрессионных моделей.
Интуиция метода
Представьте пропущенные значения как пустые поля в опросе. Вместо того чтобы угадывать один раз и надеяться на лучшее, множественная импутация делает m обоснованных предположений — каждое немного отличается, отражая реальную неопределенность относительно того, каким могло быть истинное значение. Разброс между этими предположениями переносит неопределенность в анализ, поэтому окончательные стандартные ошибки являются честными, а не искусственно узкими. Если бы вы угадали только один раз, вы бы сделали вид, что знаете больше, чем на самом деле; угадывая m раз и объединяя результаты, неопределенность, связанная с пропущенными данными, сохраняется в представленных оценках.
История
Формальная статистическая основа для множественной импутации была разработана Дональдом Б. Рубином и представлена в его монографии 1987 года «Multiple Imputation for Nonresponse in Surveys». Рубин вывел правила объединения — теперь повсеместно называемые правилами Рубина — которые объединяют оценки из импутированных наборов данных таким образом, чтобы должным образом учитывать неопределенность, вносимую пропущенными данными. Подход получил практическое развитие с разработкой алгоритма MICE, который расширяет фреймворк Рубина на наборы данных с переменными смешанных типов, импутируя каждую переменную последовательно через цепочку условных моделей. Знаковое программное обеспечение mice для R, опубликованное ван Бюреном и Гроотхуисом-Оудсхорном в Journal of Statistical Software в 2011 году, сделало этот метод доступным для прикладных исследователей в различных областях и установило MICE как доминирующую стратегию реализации.
Когда применять
Множественная импутация подходит, когда набор данных содержит пропущенные значения, а механизм пропущенных данных правдоподобно является MAR или MCAR. Она применяется к непрерывным, категориальным, бинарным, порядковым и смешанным типам переменных и подходит для поперечных, продольных и панельных структур данных. Требуется минимальный размер выборки примерно 30. Метод подходит для описательных, предиктивных и реляционных исследовательских целей. Когда пропущенные данные являются MNAR, стандартная множественная импутация недостаточна и должна быть дополнена анализом чувствительности или моделью выбора. Удаление по списку (анализ полных случаев) приемлемо только тогда, когда данные являются MCAR, а доля пропущенных данных очень мала; в противном случае МИ является предпочтительным подходом.
Ограничения и замечания
- Требует предположения MAR или MCAR; не может исправить MNAR пропущенные данные без дополнительного моделирования.
- Вычислительно более требовательна, чем однократная импутация или удаление по списку, особенно при большом m или больших наборах данных.
- Качество импутированных значений зависит от модели импутации — исключение сильных предикторов пропущенных данных из модели импутации приводит к смещению результатов.
- При высоких долях пропущенных данных (выше ~50 %) даже правильно специфицированная множественная импутация может давать широкие доверительные интервалы.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Производит несмещенные оценки при MAR, в отличие от удаления по списку, которое требует более сильного предположения MCAR.
- Распространяет неопределенность от пропущенных данных на стандартные ошибки и доверительные интервалы с помощью правил объединения Рубина, избегая ложной точности однократной импутации.
- Обрабатывает смешанные типы переменных — непрерывные, бинарные, порядковые, номинальные — в рамках одной системы MICE.
- Совместима практически с любой последующей моделью анализа, не требуя модификации предполагаемого анализа.
- Хорошо поддерживается стандартным статистическим программным обеспечением (R mice, SPSS MULTIPLE IMPUTATION, Python IterativeImputer / miceforest).
Применение
- Обработка пропусков отдельных пунктов в крупномасштабных наборах данных опросов в социальных и медицинских науках.
- Подготовка данных клинических испытаний для анализа при наличии пропущенных данных последующих измерений.
- Продольные и панельные исследования, где участники выбывают со временем.
- Эконометрическое моделирование с использованием административных записей, имеющих неполные поля.
- Предварительный этап в любом конвейере анализа, где последующие модели требуют полных данных.
Как это работает
Как это работает
Перед импутацией анализируется шаблон пропущенных данных, чтобы оценить, является ли механизм правдоподобно полностью случайным (MCAR) или случайным (MAR). MCAR означает, что вероятность пропущенных данных не зависит ни от каких наблюдаемых или ненаблюдаемых данных. MAR означает, что она может зависеть от наблюдаемых значений, но не от самих ненаблюдаемых пропущенных значений. Если механизм является ненаблюдаемым случайным (MNAR) — где вероятность пропущенного значения зависит от самого этого значения — простая множественная импутация недостаточна и требуется анализ чувствительности. Доля пропущенных данных информирует о том, сколько импутированных наборов данных m необходимо; общее руководство — m ≥ 100 × (доля пропущенных данных).
Алгоритм MICE циклически проходит по каждой неполной переменной и подбирает регрессионную модель, предсказывающую эту переменную по всем остальным (включая ранее импутированные значения). Извлечение из апостериорного распределения этой модели используется для заполнения пропущенных записей. Цикл повторяется для всех неполных переменных и итерируется до тех пор, пока импутированные распределения не стабилизируются — обычно 50 или более итераций. Это дает один завершенный набор данных. Весь процесс повторяется с нуля m раз с различными случайными начальными значениями, что дает m независимо импутированных полных наборов данных. Выбор модели импутации (предиктивное среднее согласование, логистическая регрессия, классификационные деревья и т. д.) зависит от типа переменной: непрерывной, бинарной, порядковой или номинальной.
Каждый из m завершенных наборов данных анализируется с использованием той статистической модели, которую изначально предполагал исследователь — регрессия, ANOVA, структурное моделирование уравнений и т. д. Этот шаг дает m наборов оценок параметров и стандартных ошибок, все они немного отличаются, поскольку m наборов данных различаются по способу заполнения пропущенных значений.
m наборов оценок объединяются в единый набор с использованием правил Рубина. Объединенная точечная оценка является средним арифметическим m индивидуальных оценок. Объединенная дисперсия имеет два компонента: средняя внутриимпутационная дисперсия (что дал бы анализ при отсутствии пропущенных данных) и межимпутационная дисперсия (дополнительная неопределенность от незнания пропущенных значений). Отношение межимпутационной дисперсии к общей дисперсии является долей пропущенной информации, полезным диагностическим показателем. Степени свободы корректируются соответствующим образом. Результатом является единая таблица оценок и доверительных интервалов, которая честно отражает как вариативность выборки, так и неопределенность, связанную с пропущенными данными.
Частые ошибки
- Установка m слишком низкой — распространенное эмпирическое правило m ≥ 5, но при нетривиальных долях пропущенных данных требуется гораздо более высокое m (например, m ≥ 100 × доля пропущенных данных) для достижения стабильных, воспроизводимых оценок.
- Исключение зависимой переменной или других важных предикторов из модели импутации приводит к смещенным импутациям; модель импутации должна быть по крайней мере такой же богатой, как и модель анализа.
- Применение множественной импутации, когда механизм является MNAR, без дополнительного анализа чувствительности дает результаты, которые кажутся действительными, но могут быть существенно смещенными.
- Объединение результатов с использованием правил Рубина предполагает, что модель анализа одинакова для всех m наборов данных и что была проверена сходимость алгоритма MICE — проверьте трассировочные графики импутированных средних и дисперсий для подтверждения сходимости.
Часто задаваемые вопросы
Сколько импутированных наборов данных (m) мне нужно?
Традиционный минимум m = 5 часто слишком низок. Широко цитируемое практическое руководство гласит: m ≥ 100 × (доля пропущенных данных, выраженная в процентах), так что 10 % пропущенных данных требуют как минимум m = 10, а 30 % пропущенных данных требуют как минимум m = 30. Более высокое m снижает ошибку Монте-Карло в объединенных оценках и особенно важно для воспроизводимости.
Какова разница между MCAR, MAR и MNAR?
MCAR (полностью случайные пропущенные данные) означает, что вероятность пропущенного значения не связана ни с какими данными, наблюдаемыми или ненаблюдаемыми — данные пропущены по чистой случайности. MAR (случайные пропущенные данные) означает, что вероятность пропущенных данных может зависеть от наблюдаемых значений, но не от самого ненаблюдаемого пропущенного значения — как только вы учитываете то, что вы наблюдали, пропущенные данные являются случайными. MNAR (ненаблюдаемые случайные пропущенные данные) означает, что вероятность пропущенных данных зависит от самого пропущенного значения. Множественная импутация действительна при MCAR и MAR; при MNAR ее все еще можно выполнить, но она должна быть дополнена анализом чувствительности.
Создает ли множественная импутация реальные данные?
Нет. Множественная импутация создает правдоподобные значения, извлеченные из модели распределения пропущенных данных; это не истинные пропущенные значения. Цель метода — не восстановить исходные данные, а получить оценки и стандартные ошибки для модели анализа, которые корректно учитывают неопределенность, вносимую пропущенными данными.
Могу ли я использовать множественную импутацию с категориальными или порядковыми переменными?
Да. Фреймворк MICE обрабатывает смешанные типы переменных, подбирая условную модель, соответствующую типу, для каждой переменной: предиктивное среднее согласование или линейная регрессия для непрерывных переменных, логистическая регрессия для бинарных переменных, политомическая логистическая регрессия или порядковая регрессия для номинальных или порядковых переменных, а также деревья классификации и регрессии в качестве гибкого непараметрического варианта. Каждая переменная импутируется по очереди с использованием моделей, соответствующих ее типу.
Похожие методы
Источники
Rubin, D.B. (1987). Multiple Imputation for Nonresponse in Surveys. Wiley.
Открыть ссылку DOIСкопировано.van Buuren, S. & Groothuis-Oudshoorn, K. (2011). mice: Multivariate Imputation by Chained Equations in R. Journal of Statistical Software, 45(3), 1–67.
Открыть ссылку на публикациюСкопировано.