Случайный лес
- Автор метода
- Breiman, L.
- Год
- 2001
- Тип
- Ensemble (bagging of decision trees)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Случайный лес — это метод ансамблевого обучения, предложенный Лео Брейманом в 2001 году, который строит множество деревьев решений на бутстрэп-выборках данных и объединяет их голоса для получения надежной классификации и регрессии.
Объединяя множество слегка отличающихся деревьев, он обеспечивает более точные и стабильные прогнозы, чем любое отдельное дерево.
Интуиция метода
Одно глубоко построенное дерево решений точно подгоняется под обучающие данные, но нестабильно: небольшое изменение в данных может привести к совершенно другому дереву. Случайный лес решает эту проблему, строя множество деревьев, каждое на слегка отличающемся случайном представлении данных, и позволяя им голосовать. Ошибки отдельных деревьев имеют тенденцию взаимно компенсироваться, поэтому объединенный прогноз гораздо надежнее, чем у любого отдельного дерева.
История
Случайный лес был предложен Лео Брейманом в 2001 году, объединяя бутстрэп-агрегацию со случайным выбором признаков при каждом разделении. Он стал одним из наиболее широко используемых и надежных готовых методов машинного обучения для табличных данных и является стандартным источником в учебниках, таких как «Введение в статистическое обучение» (Глава 8). В последнее время такие инструменты, как значения SHAP, приблизили его интерпретируемость к интерпретируемости логистической регрессии, увеличив его принятие в социальных науках.
Когда применять
Хорошо подходит для точной, надежной классификации, регрессии или прогнозирования на табличных данных с множеством — возможно, нелинейных и взаимодействующих — признаков и как минимум около 50 наблюдений, когда предсказательная производительность важнее, чем представление явных коэффициентов. Случайный лес не требует строгих предположений: он не требует нормально распределенных данных и обрабатывает непрерывные, категориальные, бинарные, порядковые признаки и признаки подсчета. Рекомендуется настройка гиперпараметров. Когда размер выборки падает ниже примерно 50, более простые модели, такие как логистическая или линейная регрессия, безопаснее.
Ограничения и замечания
- Нет коэффициентов для интерпретации; его природа «черного ящика» может противоречить рецензентам, ожидающим явных эффектов.
- Рекомендуется настройка гиперпараметров, а большие леса требуют памяти и вычислительных ресурсов.
- На малых выборках (n ниже примерно 50) многие деревья переобучаются, а результаты кросс-валидации становятся вводящими в заблуждение.
- Оценки важности признаков могут быть нестабильными и невоспроизводимыми при малых размерах выборки.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Высокая точность «из коробки» на табличных данных как для классификации, так и для регрессии.
- Устойчивость к переобучению благодаря бэггингу плюс случайному выбору признаков при каждом разделении.
- Встроенная важность признаков интегрирует ранжирование переменных непосредственно в модель.
- Ошибка вне выборки (out-of-bag) дает честную оценку валидации без отдельного прохода кросс-валидации.
- Не требует строгих предположений: нет требования нормальности, и он обрабатывает смешанные типы признаков и нелинейные взаимодействия.
Применение
- Классификация и регрессия на табличных данных с множеством признаков.
- Выбор и ранжирование переменных с помощью встроенной важности признаков.
- Оценка риска и прогнозирование, где надежность важнее явных коэффициентов.
- Базовое моделирование перед попыткой более сложных ансамблей, таких как градиентный бустинг.
Как это работает
Как это работает
Из обучающей выборки извлекается множество бутстрэп-выборок — каждая является случайной выборкой, взятой с возвращением, поэтому деревья видят слегка отличающиеся данные. Наблюдения, оставшиеся за пределами данной выборки (набор вне выборки, out-of-bag), обеспечивают встроенную оценку валидации без необходимости отдельного отложенного набора.
При каждом разделении в каждом дереве только случайное подмножество доступных признаков рассматривается как кандидат. Этот случайный выбор признаков декоррелирует деревья, чтобы они не цеплялись за одни и те же доминирующие предикторы, что позволяет ансамблю снизить дисперсию ниже, чем у любого отдельного дерева.
Каждое дерево делает свой прогноз, и лес объединяет их: голосование большинством голосов между деревьями для классификации или усреднение их выходных данных для регрессии. Эта агрегация превращает множество зашумленных деревьев в один надежный предиктор.
Формула
\hat{y} = \text{mode/mean of } T \text{ trees}Частые ошибки
- Пропуск разделения на обучающую/тестовую выборку или кросс-валидации и доверие к производительности на обучающей выборке.
- Игнорирование дисбаланса классов вместо перевзвешивания классов (class_weight='balanced') или ресемплинга.
- Представление только точности без F1 и AUC в дополнение к ней.
- Рассмотрение ранжирования важности признаков на малых выборках как стабильного.
- Слепое принятие гиперпараметров по умолчанию вместо настройки количества деревьев.
Часто задаваемые вопросы
Сколько деревьев должен иметь лес?
Больше деревьев снижает дисперсию и стабилизирует голосование ценой вычислительных ресурсов и памяти. Общая отправная точка — около 100 деревьев, увеличивая их количество до тех пор, пока ошибка вне выборки не перестанет улучшаться.
Переобучается ли случайный лес?
Он очень устойчив к переобучению, поскольку бэггинг и случайный выбор признаков декоррелируют деревья и усредняют их индивидуальные ошибки. Основной риск заключается в подгонке множества глубоких деревьев на очень маленьком наборе данных, где модель переобучается, а кросс-валидация становится вводящей в заблуждение.
Могу ли я доверять важности признаков?
Важность признаков полезна для ранжирования предикторов, но при малых размерах выборки она может быть нестабильной и невоспроизводимой, поэтому относитесь к ранжированиям на малых выборках с осторожностью. Сочетание ее с анализом SHAP дает более четкое представление о вкладе каждого признака.
Что следует проверить до и после подгонки?
Предварительно обработайте пропущенные значения, закодируйте категориальные переменные и настройте разделение на обучающую/тестовую выборку или k-кратную кросс-валидацию. После этого оцените ошибку вне выборки, выполните кросс-валидацию и проанализируйте вклады признаков (например, с помощью SHAP).
Похожие методы
Источники
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
Открыть ссылку DOIСкопировано.James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN: 978-1-4614-7138-7Скопировано.