Skip to content
検索結果に戻る

LightGBM

提唱者
Ke, G. et al. (Microsoft)
年
2017
種類
Gradient boosting decision tree ensemble

この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む

文字サイズ

何をする手法か?

LightGBMは、Microsoftが開発した勾配ブースティング決定木の実装であり、2017年にKeらが発表しました。これは、葉ごとに木を成長させ、特徴量をヒストグラムにビン分割することで高速化を図っています。大規模データセットにおいては、XGBoostよりもはるかに高速でありながら、高い予測精度を維持します。

手法の背後にある直感

勾配ブースティングは、一度に1つの木を構築し、各新しい木がそれ以前の木が残した誤差を修正することでアンサンブルを形成します。LightGBMはこの中心的なアイデアを保持しつつ、高速化を実現しています。連続的な特徴量におけるすべての可能な分割点をテストする代わりに、特徴量の値を固定数のヒストグラムビンにグループ化します。また、すべての木をレベルごとに成長させる代わりに、常に最大の改善をもたらす葉を成長させます。その結果、迅速に収束し、大規模な表形式データにスケールするモデルが得られます。

歴史学

LightGBMは、2017年のNeurIPS論文「LightGBM: A Highly Efficient Gradient Boosting Decision Tree」で、MicrosoftのGuolin Keらが発表しました。その2つの特徴的な選択肢、すなわちヒストグラムベースの特徴量ビン分割と葉ごとの(ベストファースト)木の成長は、勾配ブースティングを大規模データセットで劇的に高速かつメモリ効率的にするために設計され、XGBoostと並んで表形式データで最も広く使用されるブースティングライブラリの1つとなりました。

使うべき場面

大規模な表形式データセット(横断的、パネル、時系列)における予測、分類、および予測に強力な選択肢です。連続、カテゴリカル、バイナリ、または順序特徴量を持ち、少なくとも約200の観測値がある場合に適しています。トレーニング速度とスケールが重要であり、正則化を調整できる場合に最も価値があります。約200観測値未満では、葉ごとの成長はひどく過学習する傾向があるため、XGBoostのようなレベルごとの手法や、より安定したランダムフォレストの方が安全です。

限界と注意点

  • 注意深く正則化しないと、小さなサンプルで葉ごとの成長が過学習します。
  • 複雑さを制御するためにnum_leavesとmin_data_in_leafのチューニングが必要です。
  • 約200観測値未満のデータセットでは、レベルごとの手法(XGBoost)またはランダムフォレストの方が信頼性があります。
  • 他のブースト木と同様に、直接解釈可能な係数を持たないブラックボックスです。

出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。

強み

  • ヒストグラムベースの分割により、大規模データセットでXGBoostよりもはるかに高速です。
  • 葉ごとの成長は迅速に収束し、しばしば高い精度に達します。
  • 手動でのワンホットエンコーディングなしに、カテゴリカル特徴量を直接処理します。
  • 横断的、パネル、時系列データにわたる予測、分類、および予測に機能します。

応用

  • 大規模な表形式データセットでの予測と分類。
  • 横断的、パネル、時系列データにおける予測タスク。
  • トレーニング時間が重要な場合のXGBoostに代わる高速でスケーラブルな選択肢。
  • 重い前処理なしに、多くのカテゴリカル特徴量を持つデータをモデリングすること。

使い方

使い方

1

木は逐次的に追加されます。各新しい木は、現在のアンサンブルの残差誤差に適合され、学習率の収縮を伴って追加されるため、モデルは段階的に損失を減少させます。カテゴリカル特徴量は、手動でのワンホットエンコーディングなしにLightGBMに直接入力できます。

数式
F_m(x) = F_{m-1}(x) + \eta\, h_m(x)
2

連続的な特徴量値は、分割前に固定数の離散ヒストグラムビンにバケット化されます。アルゴリズムは、すべての生の値ではなく、これらのビン上で最適な分割を探索します。これが、LightGBMがXGBoostのようなレベルごとの実装よりも大規模データで非常に高速である主な理由です。

3

LightGBMは、同じ深さですべての葉を展開する(レベルごと)のではなく、葉ごとに成長します。つまり、常に最大の損失削減をもたらす葉を分割します。これにより収束は速くなりますが、小さなサンプルでは過学習する可能性があるため、木の正則化のために葉の数(num_leaves)と葉あたりの最小データ数(min_data_in_leaf)を設定する必要があります。

よくある落とし穴

  • 葉ごとの成長がひどく過学習するような小さなサンプルでLightGBMを使用すること。
  • データサイズに対して許容範囲が広すぎるnum_leavesとmin_data_in_leafの値を設定したままにすること。
  • カテゴリカル変数をLightGBMに直接渡す代わりに、手動でワンホットエンコーディングすること。
  • ホールドアウトまたは交差検定による評価なしに、インサンプル精度を信頼すること。

よくある質問

LightGBMはXGBoostとどう違うのですか?

どちらも勾配ブースティング決定木ライブラリです。LightGBMはヒストグラムベースの分割と葉ごとの(ベストファースト)木の成長を使用するため、大規模データセットでははるかに高速です。XGBoostはレベルごとに成長するため、小さなサンプルではより安全な場合が多いです。

LightGBMはなぜ小さなデータセットで過学習するのですか?

その葉ごとの成長は、常に最大のゲインを持つ葉を分割するため、データがそのサイズに対して多すぎる葉に分割される可能性があります。小さなサンプル(約200観測値未満)では、これが深刻な過学習につながるため、レベルごとの手法またはランダムフォレストが推奨されます。

カテゴリカル変数をワンホットエンコーディングする必要がありますか?

いいえ。LightGBMはカテゴリカル特徴量を直接受け入れることができるため、手動でのワンホットエンコーディングは通常不要であり、パフォーマンスを損なうことさえあります。

どの設定が過学習を制御しますか?

葉の数(num_leaves)と葉あたりの最小データ数(min_data_in_leaf)が主要な正則化制御です。これらを厳しくすることで、データセットサイズに対する木の複雑さが制限されます。

関連する手法

参考文献

  1. Ke, G., Meng, Q., Finley, T., Wang, T., Chen, W., Ma, W., Ye, Q. & Liu, T.-Y. (2017). LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Advances in Neural Information Processing Systems (NeurIPS) 30, 3146–3154.

    出版物の文献を開く
    コピーしました。