Skip to content
Назад к результатам поиска

Случайный лес

Автор метода
Breiman, L.
Год
2001
Тип
Ensemble (bagging of decision trees)

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Случайный лес — это метод ансамблевого обучения, предложенный Лео Брейманом в 2001 году, который строит множество деревьев решений на бутстрэп-выборках данных и объединяет их голоса для получения надежной классификации и регрессии.

Объединяя множество слегка отличающихся деревьев, он обеспечивает более точные и стабильные прогнозы, чем любое отдельное дерево.

Интуиция метода

Одно глубоко построенное дерево решений точно подгоняется под обучающие данные, но нестабильно: небольшое изменение в данных может привести к совершенно другому дереву. Случайный лес решает эту проблему, строя множество деревьев, каждое на слегка отличающемся случайном представлении данных, и позволяя им голосовать. Ошибки отдельных деревьев имеют тенденцию взаимно компенсироваться, поэтому объединенный прогноз гораздо надежнее, чем у любого отдельного дерева.

История

Случайный лес был предложен Лео Брейманом в 2001 году, объединяя бутстрэп-агрегацию со случайным выбором признаков при каждом разделении. Он стал одним из наиболее широко используемых и надежных готовых методов машинного обучения для табличных данных и является стандартным источником в учебниках, таких как «Введение в статистическое обучение» (Глава 8). В последнее время такие инструменты, как значения SHAP, приблизили его интерпретируемость к интерпретируемости логистической регрессии, увеличив его принятие в социальных науках.

Когда применять

Хорошо подходит для точной, надежной классификации, регрессии или прогнозирования на табличных данных с множеством — возможно, нелинейных и взаимодействующих — признаков и как минимум около 50 наблюдений, когда предсказательная производительность важнее, чем представление явных коэффициентов. Случайный лес не требует строгих предположений: он не требует нормально распределенных данных и обрабатывает непрерывные, категориальные, бинарные, порядковые признаки и признаки подсчета. Рекомендуется настройка гиперпараметров. Когда размер выборки падает ниже примерно 50, более простые модели, такие как логистическая или линейная регрессия, безопаснее.

Ограничения и замечания

  • Нет коэффициентов для интерпретации; его природа «черного ящика» может противоречить рецензентам, ожидающим явных эффектов.
  • Рекомендуется настройка гиперпараметров, а большие леса требуют памяти и вычислительных ресурсов.
  • На малых выборках (n ниже примерно 50) многие деревья переобучаются, а результаты кросс-валидации становятся вводящими в заблуждение.
  • Оценки важности признаков могут быть нестабильными и невоспроизводимыми при малых размерах выборки.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Высокая точность «из коробки» на табличных данных как для классификации, так и для регрессии.
  • Устойчивость к переобучению благодаря бэггингу плюс случайному выбору признаков при каждом разделении.
  • Встроенная важность признаков интегрирует ранжирование переменных непосредственно в модель.
  • Ошибка вне выборки (out-of-bag) дает честную оценку валидации без отдельного прохода кросс-валидации.
  • Не требует строгих предположений: нет требования нормальности, и он обрабатывает смешанные типы признаков и нелинейные взаимодействия.

Применение

  • Классификация и регрессия на табличных данных с множеством признаков.
  • Выбор и ранжирование переменных с помощью встроенной важности признаков.
  • Оценка риска и прогнозирование, где надежность важнее явных коэффициентов.
  • Базовое моделирование перед попыткой более сложных ансамблей, таких как градиентный бустинг.

Как это работает

Как это работает

1

Из обучающей выборки извлекается множество бутстрэп-выборок — каждая является случайной выборкой, взятой с возвращением, поэтому деревья видят слегка отличающиеся данные. Наблюдения, оставшиеся за пределами данной выборки (набор вне выборки, out-of-bag), обеспечивают встроенную оценку валидации без необходимости отдельного отложенного набора.

2

При каждом разделении в каждом дереве только случайное подмножество доступных признаков рассматривается как кандидат. Этот случайный выбор признаков декоррелирует деревья, чтобы они не цеплялись за одни и те же доминирующие предикторы, что позволяет ансамблю снизить дисперсию ниже, чем у любого отдельного дерева.

3

Каждое дерево делает свой прогноз, и лес объединяет их: голосование большинством голосов между деревьями для классификации или усреднение их выходных данных для регрессии. Эта агрегация превращает множество зашумленных деревьев в один надежный предиктор.

Формула
\hat{y} = \text{mode/mean of } T \text{ trees}

Частые ошибки

  • Пропуск разделения на обучающую/тестовую выборку или кросс-валидации и доверие к производительности на обучающей выборке.
  • Игнорирование дисбаланса классов вместо перевзвешивания классов (class_weight='balanced') или ресемплинга.
  • Представление только точности без F1 и AUC в дополнение к ней.
  • Рассмотрение ранжирования важности признаков на малых выборках как стабильного.
  • Слепое принятие гиперпараметров по умолчанию вместо настройки количества деревьев.

Часто задаваемые вопросы

Сколько деревьев должен иметь лес?

Больше деревьев снижает дисперсию и стабилизирует голосование ценой вычислительных ресурсов и памяти. Общая отправная точка — около 100 деревьев, увеличивая их количество до тех пор, пока ошибка вне выборки не перестанет улучшаться.

Переобучается ли случайный лес?

Он очень устойчив к переобучению, поскольку бэггинг и случайный выбор признаков декоррелируют деревья и усредняют их индивидуальные ошибки. Основной риск заключается в подгонке множества глубоких деревьев на очень маленьком наборе данных, где модель переобучается, а кросс-валидация становится вводящей в заблуждение.

Могу ли я доверять важности признаков?

Важность признаков полезна для ранжирования предикторов, но при малых размерах выборки она может быть нестабильной и невоспроизводимой, поэтому относитесь к ранжированиям на малых выборках с осторожностью. Сочетание ее с анализом SHAP дает более четкое представление о вкладе каждого признака.

Что следует проверить до и после подгонки?

Предварительно обработайте пропущенные значения, закодируйте категориальные переменные и настройте разделение на обучающую/тестовую выборку или k-кратную кросс-валидацию. После этого оцените ошибку вне выборки, выполните кросс-валидацию и проанализируйте вклады признаков (например, с помощью SHAP).

Похожие методы

Источники

  1. Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.

    Открыть ссылку DOI
    Скопировано.
  2. James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.

    ISBN: 978-1-4614-7138-7
    Скопировано.