Isolation Forest
- Автор метода
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- Год
- 2008
- Тип
- Unsupervised ensemble (random partitioning trees)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Isolation Forest — это метод машинного обучения без учителя для обнаружения аномалий и выбросов, предложенный Лю, Тингом и Чжоу в 2008 году, который изолирует аномалии посредством случайного разбиения данных.
Он работает без каких-либо размеченных данных об аномалиях и масштабируется для работы с многомерными наборами данных.
Интуиция метода
Основная идея проста: аномалии немногочисленны и отличаются от основной массы данных, поэтому их легко отделить от остальных данных. Если продолжать случайным образом разбивать данные, обычная точка, находящаяся в плотной области, потребует много разрезов для изоляции, тогда как выброс, находящийся отдельно, будет отсечен после всего нескольких разбиений. Подсчет количества разбиений, необходимых для изоляции каждой точки, превращает эту интуицию в оценку аномальности.
История
Isolation Forest был предложен Фэй Тони Лю, Кай Мин Тингом и Чжи-Хуа Чжоу в 2008 году на Международной конференции IEEE по интеллектуальному анализу данных. Он представил иную философию обнаружения выбросов: вместо профилирования нормальных данных и измерения отклонений, он напрямую изолирует аномалии посредством случайного разбиения, используя тот факт, что аномалии немногочисленны и отличаются. Этот подход стал широко используемым, масштабируемым инструментом для обнаружения аномалий без учителя в многомерных данных.
Когда применять
Используйте Isolation Forest для обнаружения аномалий или выбросов в непрерывных, возможно, многомерных, кросс-секционных или временных рядах данных с не менее чем 50 наблюдениями, особенно когда у вас нет размеченных аномалий для обучения. Он не требует размеченных данных об аномалиях и хорошо масштабируется по мере увеличения количества признаков; вы задаете параметр contamination, выражающий ожидаемую долю аномалий. При менее чем 50 наблюдениях граница между нормальными и аномальными точками становится ненадежной, и статистические методы обнаружения выбросов или PCA более безопасны.
Ограничения и замечания
- На малых выборках (n менее примерно 50) граница между нормальными и аномальными точками неясна, а частота ложных срабатываний высока.
- Без достаточного количества подлинных аномалий параметр contamination становится бессмысленным, и предпочтительнее использовать статистические методы обнаружения выбросов.
- Он возвращает оценки аномальности, а не интерпретируемые коэффициенты или явные правила.
- Результаты зависят от выбранного значения contamination, которое должно быть установлено на основе предметных знаний.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Без учителя: не требует размеченных данных об аномалиях для пометки выбросов.
- Хорошо масштабируется для работы с многомерными данными.
- Изолирует аномалии напрямую, а не моделирует все нормальное распределение, что обеспечивает его эффективность.
- Единый параметр contamination выражает ожидаемую долю аномалий и устанавливает порог для их пометки.
Применение
- Обнаружение выбросов и аномалий без учителя в непрерывных данных.
- Скрининг многомерных наборов данных, где нет размеченных аномалий.
- Пометка необычных наблюдений в кросс-секционных данных или временных рядах перед моделированием.
- Проверки качества данных и исследовательское обнаружение нерегулярных записей.
Как это работает
Как это работает
Isolation Forest обращает обычную логику обнаружения выбросов. Вместо того чтобы строить профиль нормальных точек и помечать все, что от него отклоняется, он напрямую использует тот факт, что аномалии немногочисленны и отличаются, и поэтому их быстрее изолировать. Поскольку ему не требуются размеченные аномалии, он полностью неконтролируем и хорошо масштабируется для работы с многомерными данными.
Метод строит множество деревьев случайного разбиения. В каждом дереве данные рекурсивно разбиваются путем случайного выбора признака и случайного значения разбиения, разделяя пространство на все более мелкие области, пока каждая точка не окажется изолированной. Изоляция нормальной точки, находящейся в плотной области, требует множества таких разбиений, в то время как аномалия, находящаяся отдельно, отделяется после всего нескольких.
Длина пути каждой точки — количество разбиений, необходимых для ее изоляции — усредняется по всему лесу и преобразуется в оценку аномальности: короткие средние пути означают вероятные аномалии, длинные пути — вероятные нормальные точки. Параметр "загрязнения" (contamination), ожидаемая доля аномалий, устанавливает порог, определяющий, какие точки в конечном итоге помечаются как выбросы.
Формула
s(x) = 2^{-\frac{E(h(x))}{c(n)}}Частые ошибки
- Запуск его на менее чем 50 наблюдениях и доверие помеченным аномалиям.
- Установка параметра contamination без достаточного количества фактических аномалий в данных для его обоснования.
- Рассмотрение оценок аномальности как точных вероятностей, а не относительного ранжирования.
- Игнорирование масштабирования признаков и влияния нерелевантных признаков на случайные разбиения.
Часто задаваемые вопросы
Нужны ли мне размеченные аномалии для использования Isolation Forest?
Нет. Это метод без учителя, который изолирует аномалии посредством случайного разбиения, поэтому для его работы не требуются размеченные данные об аномалиях.
Что делает параметр contamination?
Он выражает ожидаемую долю аномалий в данных и устанавливает порог, который определяет, какие точки в конечном итоге помечаются как выбросы. Без достаточного количества подлинных аномалий в данных этот параметр становится бессмысленным.
Почему он плохо работает на малых выборках?
При менее чем 50 наблюдениях граница между нормальными и аномальными точками неясна, а частота ложных срабатываний высока. В этом случае статистические методы обнаружения выбросов или PCA являются более безопасными альтернативами.
Как оцениваются аномалии?
Средняя длина пути каждой точки по случайным деревьям — сколько разбиений потребовалось для ее изоляции — преобразуется в оценку аномальности. Короткие средние пути указывают на вероятные аномалии; длинные пути указывают на вероятные нормальные точки.
Похожие методы
Источники
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
Открыть ссылку DOIСкопировано.