Skip to content
Назад к результатам поиска

MICE — многомерная импутация посредством цепных уравнений

Автор метода
Stef van Buuren & Karin Groothuis-Oudshoorn
Год
2011
Тип
Iterative multiple imputation algorithm
Семейство
Missing data

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Многомерная импутация посредством цепных уравнений (MICE) — это итерационная процедура для обработки пропущенных данных в многомерных наборах данных.

Алгоритм, представленный Стефом ван Бюреном и Карин Гроотхёйс-Оудсхорн в пакете R mice (2011), заполняет каждую пропущенную переменную с использованием отдельной регрессионной модели, обусловленной всеми другими переменными, циклически проходя по переменным до тех пор, пока импутированные значения не сойдутся. В результате получается m заполненных наборов данных, которые анализируются по отдельности и объединяются с использованием правил Рубина.

Интуиция метода

Представьте себе частично заполненный кроссворд: каждое пустое слово заполняется с учетом уже имеющихся пересекающихся букв. Если вновь заполненное слово открывает больше букв, вы возвращаетесь к ранее пропущенным местам с новой информацией. MICE работает аналогично — он заполняет один пропущенный столбец за раз, используя все остальные столбцы в качестве подсказок, затем снова пересматривает каждый столбец, итерируя до тех пор, пока ответы не стабилизируются во многих возможных кроссвордах.

История

Концептуальная основа импутации посредством цепных уравнений появилась в начале 1990-х годов в работах ван Бюрена, Босхёйзена и Кнука по неполным данным медицинских обследований. Концепция полностью условной спецификации (Fully Conditional Specification) была формализована в 2000-х годах, а ван Бюрен и Гроотхёйс-Оудсхорн выпустили пакет R mice в 2011 году вместе с всеобъемлющей методологической статьей в Journal of Statistical Software, которая стала канонической ссылкой с десятками тысяч цитирований.

Когда применять

MICE подходит, когда данные отсутствуют случайно (MAR) и пропуски встречаются одновременно в нескольких переменных. Он подходит для непрерывных, бинарных, порядковых и счетных исходов благодаря своей гибкой спецификации модели для каждой переменной. Он менее подходит для данных, отсутствующих неслучайно (MNAR), без вспомогательного моделирования, для очень высокоразмерных наборов данных, где модель импутации становится громоздкой, или когда доля пропусков превышает 50% в ключевых переменных. Однократная импутация или анализ полных случаев может быть достаточным при MCAR с низкими долями пропусков.

Ограничения и замечания

  • Предполагает, что данные отсутствуют случайно (MAR); нарушения требуют анализа чувствительности или расширений на основе смешанных моделей
  • Вычислительная стоимость растет с количеством переменных, итераций и импутаций (m)
  • Сходимость семплера типа Гиббса математически не гарантирована для несовместимых условных моделей
  • Спецификация модели (выбор предикторов, метод импутации для каждой переменной) требует тщательного суждения аналитика

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Обрабатывает смешанные типы переменных (непрерывные, бинарные, порядковые, счетные) с помощью индивидуальных моделей для каждого столбца
  • Корректно распространяет неопределенность через множественные импутированные наборы данных и правила объединения Рубина
  • Гибкая спецификация предикторов позволяет использовать экспертные знания и вспомогательные переменные для улучшения качества импутации
  • Хорошо проверенная реализация на R (пакет mice) с обширной диагностикой и активной поддержкой

Применение

  • Клинические испытания и эпидемиологические когортные исследования с прерывистыми измерениями в процессе наблюдения
  • Гармонизация данных опросов, где различные модули анкет дают различные паттерны пропусков
  • Конвейеры предварительной обработки машинного обучения, требующие полных матриц признаков перед обучением модели
  • Исследования в области экономики здравоохранения и политики, объединяющие административные записи с данными самоотчетов из анкет
  • Лонгитюдные образовательные оценки с отсутствием ответов на вопросы в нескольких волнах тестирования

Как это работает

Как это работает

1

Прежде чем начнется какой-либо цикл, MICE заменяет все пропущенные значения быстрым заполнителем — обычно наблюдаемым средним значением столбца для непрерывных переменных или модой для категориальных. Это первоначальное заполнение гарантирует, что каждая переменная имеет по крайней мере некоторые значения, доступные в качестве предикторов, когда начинается первый цикл импутации.

Формула
X^{(0)}_{\text{mis}} \leftarrow \text{simple imputation}(X_{\text{obs}})
2

Для каждой переменной j с пропущенными значениями MICE подбирает соответствующую предикторам модель (линейную регрессию, логистическую регрессию, сопоставление прогностических средних и т. д.), используя все остальные переменные X_{-j} в качестве ковариат. Пропущенные значения X_j затем извлекаются из апостериорного прогностического распределения этой модели, так что импутированные значения отражают как подобранную зависимость, так и неопределенность параметров.

Формула
\hat{X}_j \sim P\!\left(X_j \mid X_{-j},\, \theta_j\right), \quad j = 1, \ldots, p
3

После однократной импутации всех p переменных завершается один полный цикл. MICE повторяет цикл — обновляя модель импутации каждой переменной с вновь импутированными значениями ее ковариат — заданное пользователем количество итераций (обычно 5–20). Сходимость отслеживается путем изучения трассировочных графиков импутированных средних и стандартных отклонений по итерациям.

Формула
\theta_j^{(t)} = \arg\max_{\theta_j} \prod_{i: x_{ij} \text{ obs}} P\!\left(x_{ij} \mid x_{i,-j}^{(t-1)},\, \theta_j\right)
4

Полная процедура (инициализация + циклирование) повторяется m раз независимо для получения m заполненных наборов данных. Каждый набор данных анализируется с использованием предполагаемого статистического метода, что дает m точечных оценок и стандартных ошибок. Затем правила объединения Рубина объединяют их в единую оценку и общую дисперсию T, которая корректно распространяет как внутриимпутационную, так и межимпутационную неопределенность.

Формула
\bar{Q} = \frac{1}{m}\sum_{l=1}^{m} \hat{Q}_l, \quad T = \bar{U} + \left(1 + \frac{1}{m}\right) B

Частые ошибки

  • Использование слишком малого количества импутированных наборов данных (m < 5) недооценивает стандартные ошибки и завышает частоту ложноположительных результатов
  • Включение переменной отклика в модель импутации является существенным; ее исключение смещает коэффициенты регрессии к нулю
  • Игнорирование членов взаимодействия или нелинейных зависимостей в модели импутации может исказить последующие анализы
  • Неспособность проверить сходимость с помощью трассировочных графиков может привести к объединению результатов из несходящихся цепей

Часто задаваемые вопросы

Сколько импутированных наборов данных (m) следует создать?

Обычное значение по умолчанию — m = 5, что достаточно при низких долях пропусков. Уайт, Ройстон и Вуд (2011) рекомендуют устанавливать m примерно равным проценту неполных случаев. Для долей пропусков выше 20–30% рекомендуется m = 20 или более для стабилизации объединенных оценок и стандартных ошибок.

Может ли MICE обрабатывать данные, отсутствующие неслучайно (MNAR)?

Стандартный MICE предполагает MAR. При MNAR модель импутации является неверно специфицированной, что потенциально может исказить результаты. Аналитики должны проводить анализ чувствительности — например, используя дельта-корректировку или модели смешанных паттернов — чтобы оценить, как изменяются результаты при правдоподобных отклонениях MNAR от предположения MAR.

Какой метод импутации следует выбрать для каждой переменной?

Пакет mice выбирает значения по умолчанию на основе класса переменной: сопоставление прогностических средних (pmm) для непрерывных переменных, логистическая регрессия для бинарных, политомическая регрессия для неупорядоченных факторов и пропорциональные шансы для упорядоченных факторов. Эти значения по умолчанию хорошо работают в большинстве прикладных настроек, но аналитики могут заменить их случайными лесами или другими гибкими методами обучения для сложных распределений.

Похожие методы

Источники

  1. van Buuren, S., & Groothuis-Oudshoorn, K. (2011). mice: Multivariate imputation by chained equations in R. Journal of Statistical Software, 45(3), 1–67.

    Открыть ссылку DOI
    Скопировано.