LightGBM
- Автор метода
- Ke, G. et al. (Microsoft)
- Год
- 2017
- Тип
- Gradient boosting decision tree ensemble
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
LightGBM — это реализация градиентного бустинга деревьев решений от Microsoft, представленная Ки и коллегами в 2017 году, которая строит деревья по листовому принципу и группирует признаки в гистограммы для ускорения.
На больших наборах данных он значительно быстрее XGBoost, сохраняя при этом высокую точность прогнозирования.
Интуиция метода
Градиентный бустинг строит ансамбль последовательно, дерево за деревом, где каждое новое дерево исправляет ошибки, оставленные предыдущими деревьями. LightGBM сохраняет эту основную идею, но делает ее быстрой: вместо того чтобы тестировать каждую возможную точку разделения для непрерывных признаков, он группирует значения признаков в фиксированное количество бинов гистограммы, а вместо того чтобы строить каждое дерево уровень за уровнем, он всегда строит лист, который обещает наибольшее улучшение. Результатом является модель, которая быстро сходится и масштабируется до больших табличных данных.
История
LightGBM был представлен Гуолинем Ке и его коллегами в Microsoft в статье NeurIPS 2017 года «LightGBM: A Highly Efficient Gradient Boosting Decision Tree». Два его отличительных решения — биннинг признаков на основе гистограмм и листовой (лучший первый) рост деревьев — были разработаны, чтобы сделать градиентный бустинг значительно быстрее и эффективнее по памяти на больших наборах данных, и он стал одной из наиболее широко используемых библиотек бустинга для табличных данных наряду с XGBoost.
Когда применять
Отличный выбор для прогнозирования, классификации и прогнозирования на больших табличных наборах данных — поперечных, панельных или временных рядов — с непрерывными, категориальными, бинарными или порядковыми признаками и по крайней мере около 200 наблюдений. Он наиболее ценен, когда скорость обучения и масштабируемость имеют значение, и вы можете настраивать регуляризацию. При количестве наблюдений ниже примерно 200 листовой рост имеет тенденцию к сильному переобучению, и более безопасным является поуровневый метод, такой как XGBoost, или более стабильный случайный лес.
Ограничения и замечания
- Листовой рост приводит к переобучению на малых выборках, если не применять тщательную регуляризацию.
- Требует настройки num_leaves и min_data_in_leaf для контроля сложности.
- На наборах данных с менее чем примерно 200 наблюдениями поуровневый метод (XGBoost) или случайный лес более надежны.
- Как и другие бустированные деревья, это «черный ящик» без напрямую интерпретируемых коэффициентов.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Значительно быстрее, чем XGBoost на больших наборах данных, благодаря разделению на основе гистограмм.
- Листовой рост быстро сходится и часто достигает высокой точности.
- Обрабатывает категориальные признаки напрямую, без ручного однократного кодирования.
- Работает для прогнозирования, классификации и прогнозирования на поперечных, панельных и временных рядах данных.
Применение
- Прогнозирование и классификация на больших табличных наборах данных.
- Задачи прогнозирования на поперечных, панельных и временных рядах данных.
- Быстрая, масштабируемая альтернатива XGBoost, когда время обучения имеет значение.
- Моделирование данных с большим количеством категориальных признаков без интенсивной предварительной обработки.
Как это работает
Как это работает
Деревья добавляются последовательно: каждое новое дерево подгоняется под остаточные ошибки текущего ансамбля и добавляется с уменьшением скорости обучения, так что модель постепенно шаг за шагом снижает свою потерю. Категориальные признаки могут быть переданы в LightGBM напрямую без ручного однократного кодирования.
Формула
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)Значения непрерывных признаков группируются в фиксированное количество дискретных бинов гистограммы перед разделением. Затем алгоритм ищет лучшее разделение по этим бинам, а не по каждому сырому значению, что является основной причиной, по которой LightGBM намного быстрее, чем поуровневые реализации, такие как XGBoost, на больших данных.
Вместо расширения всех листьев на одной глубине (поуровнево), LightGBM растет по листовому принципу: он всегда разделяет лист, который дает наибольшее снижение потерь. Это сходится быстрее, но может привести к переобучению на малых выборках, поэтому количество листьев (num_leaves) и минимальные данные на лист (min_data_in_leaf) должны быть установлены для регуляризации деревьев.
Частые ошибки
- Использование LightGBM на малой выборке, где листовой рост сильно переобучается.
- Оставление значений num_leaves и min_data_in_leaf слишком разрешительными для размера данных.
- Ручное однократное кодирование категориальных переменных вместо их прямой передачи в LightGBM.
- Доверие к точности на обучающей выборке без оценки на отложенной или кросс-валидированной выборке.
Часто задаваемые вопросы
Чем LightGBM отличается от XGBoost?
Обе библиотеки являются реализациями градиентного бустинга деревьев решений. LightGBM использует гистограммное разделение и листовой (лучший первый) рост деревьев, что делает его намного быстрее на больших наборах данных. XGBoost растет поуровнево, что часто безопаснее на меньших выборках.
Почему LightGBM переобучается на малых наборах данных?
Его листовой рост всегда разделяет лист с наибольшим приростом, что может привести к слишком большому количеству листьев относительно размера данных. На малых выборках (менее примерно 200 наблюдений) это приводит к серьезному переобучению, поэтому рекомендуется поуровневый метод или случайный лес.
Нужно ли мне однократно кодировать категориальные переменные?
Нет. LightGBM может принимать категориальные признаки напрямую, поэтому ручное однократное кодирование обычно не требуется и может даже ухудшить производительность.
Какие настройки контролируют переобучение?
Количество листьев (num_leaves) и минимальное количество данных на лист (min_data_in_leaf) являются ключевыми элементами контроля регуляризации; их ужесточение ограничивает сложность дерева относительно размера набора данных.
Похожие методы
Источники
Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.
Открыть ссылку на публикациюСкопировано.