Ансамбль бэггинга
- Автор метода
- Leo Breiman
- Год
- 1996
- Тип
- parallel ensemble
- Семейство
- Ensemble
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Бэггинг, сокращение от bootstrap aggregating (агрегирование бутстрэп-выборок), представляет собой ансамблевый метод, который снижает дисперсию путем обучения множества копий одного и того же алгоритма обучения на различных случайных подвыборках обучающих данных.
Каждая подвыборка создается с помощью бутстрэп-сэмплирования — случайного выбора образцов с возвращением. Прогнозы объединяются путем мажоритарного голосования (классификация) или усреднения (регрессия). Введенный Лео Брейманом в 1996 году, бэггинг является основой для случайных лесов и особенно эффективен для снижения переобучения в моделях с высокой дисперсией.
Интуиция метода
Основная идея заключается в том, что, обучая одну и ту же модель на различных случайных подвыборках данных и усредняя их прогнозы, мы снижаем дисперсию без увеличения смещения. Если модель переобучается под конкретные обучающие выборки, различные бутстрэп-выборки выявляют разные подмножества этого переобучения, а усреднение нейтрализует ложные закономерности. Бэггинг работает за счет использования случайности: каждая бутстрэп-выборка немного отличается, поэтому каждая обученная модель немного отличается, и их совокупность более стабильна, чем любая отдельная модель.
История
Бэггинг был введен Лео Брейманом в 1996 году на основе бутстрэп-метода из статистики (Эфрон, 1979). Брейман продемонстрировал, что бэггинг снижает ошибку прогнозирования нестабильных учеников за счет уменьшения дисперсии. Метод стал основополагающим с введением случайных лесов (Брейман, 2001), которые сочетают бэггинг со случайным выбором признаков. Бэггинг остается стандартной техникой в машинном обучении, особенно для ансамблевых методов.
Когда применять
Используйте бэггинг при работе с моделями с высокой дисперсией (например, деревьями решений, нейронными сетями), которые склонны к переобучению. Он наиболее эффективен, когда базовые ученики нестабильны — чувствительны к небольшим изменениям в обучающих данных. Бэггинг менее эффективен для моделей с низким смещением и низкой дисперсией (например, k-NN с малым k, линейная регрессия на стабильных данных). Он также хорошо подходит для параллельных вычислений, поскольку каждый базовый ученик может обучаться независимо.
Ограничения и замечания
- Не обеспечивает снижения смещения; эффективен только для базовых учеников с высокой дисперсией.
- Вычислительная стоимость линейно масштабируется с количеством базовых учеников.
- Бутстрэп-выборки обладают недостаточным разнообразием по сравнению с преднамеренными стратегиями сэмплирования.
- Может не улучшить производительность, когда базовые модели имеют высокое смещение (например, линейные модели на сложных данных).
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Снижает дисперсию без увеличения смещения, улучшая обобщение.
- Работает с любым типом базового ученика; может использовать нестабильные модели, такие как деревья.
- Легко распараллеливается — каждая бутстрэп-выборка может обрабатываться независимо.
- Предоставляет оценки дисперсии через расчет ошибки вне выборки (out-of-bag error).
- Прост в реализации с минимальной настройкой гиперпараметров.
Применение
- Медицинская диагностика: бэггинг деревьев решений для классификации заболеваний с целью повышения устойчивости к зашумленным данным пациентов.
- Финансовое моделирование рисков: ансамбль деревьев решений для прогнозирования дефолта по кредитам в различных рыночных условиях.
- Дистанционное зондирование: бэггинг классификаторов изображений для классификации спутниковых снимков с уменьшенным переобучением.
- Геномика: ансамблевые методы для отбора генов и прогнозирования заболеваний на основе высокоразмерных данных микрочипов.
- Контроль качества на производстве: бэггинг нейронных сетей для обнаружения дефектов в производственных процессах.
Как это работает
Как это работает
Создайте B бутстрэп-выборок путем случайного сэмплирования из обучающих данных с возвращением, каждая размером, равным исходному набору данных.
Обучите независимый базовый ученик (например, дерево решений, нейронную сеть) на каждой бутстрэп-выборке.
Для нового входного значения передайте его через все B обученных базовых учеников и соберите их прогнозы.
Объедините прогнозы путем мажоритарного голосования (классификация) или усреднения (регрессия).
Частые ошибки
- Использование слишком малого количества базовых учеников (B < 20) снижает выгоду от уменьшения дисперсии; обычно достигается плато при B = 100-500.
- Обучение базовых учеников на перекрывающихся подвыборках (например, последовательных разделениях данных) вместо случайных бутстрэп-выборок.
- Предположение, что бэггинг устраняет переобучение; он снижает дисперсию, но смещенные модели остаются смещенными.
- Неиспользование вневыборочных прогнозов для валидации, упуская эффективную альтернативу перекрестной проверке.
Часто задаваемые вопросы
Сколько бутстрэп-выборок (B) следует использовать?
Начните с B = 50-100 и отслеживайте производительность; как правило, выгоды достигают плато около B = 100-500. Увеличьте B, если снижение дисперсии замедляется. Для критически важных приложений может быть оправдано B > 1000, несмотря на вычислительные затраты.
Что такое ошибка вне выборки (out-of-bag error) и как ее использовать?
Каждая бутстрэп-выборка исключает примерно 1/3 исходных данных (в среднем около 36,8%). Эти вневыборочные образцы могут использоваться для валидации конкретной модели без необходимости отдельного набора для валидации. Усреднение вневыборочных ошибок по всем моделям оценивает обобщающую ошибку.
Лучше ли бэггинг, чем перекрестная проверка?
Они служат разным целям. Перекрестная проверка оценивает производительность модели; бэггинг ее улучшает. Используйте бэггинг для обучения ансамбля и вневыборочные оценки для валидации, избегая накладных расходов k-кратной перекрестной проверки.
Может ли бэггинг улучшить модели с низкой дисперсией, такие как k-NN?
Неэффективно. Бэггинг предназначен для моделей с высокой дисперсией. Модели с низкой дисперсией (стабильные, простые) мало выигрывают от снижения дисперсии. Рассмотрите другие ансамблевые методы или сосредоточьтесь на снижении смещения.
Похожие методы
Источники
Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123-140.
Открыть ссылку DOIСкопировано.Efron, B. (1979). Bootstrap methods: another look at the jackknife. The Annals of Statistics, 7(1), 1-26.
Открыть ссылку DOIСкопировано.