Extra Trees
- 提唱者
- Geurts, P.; Ernst, D.; Wehenkel, L.
- 年
- 2006
- 種類
- Ensemble (extremely randomized decision trees)
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
Extra Trees(Extremely Randomized Trees)は、2006年にGeurts、Ernst、Wehenkelによって導入された、Random Forestよりもさらにランダム化を進めた決定木のアンサンブルです。候補となる特徴量と分割閾値の両方が各ノードで完全にランダムに選択され、閾値に対する貪欲な探索が排除されます。この追加のランダム性により分散が減少し、Random Forestの精度に匹敵するかそれを超えることが多く、学習時間も大幅に短縮されます。
手法の背後にある直感
Random Forestは、各分割でランダムに特徴量のサブセットを選択することで既に木々の相関を低くしていますが、それでもそれらの特徴量の中から最適な閾値を探索します。Extra Treesはさらに一歩進んで、候補となる特徴量ごとに、最適化するのではなくランダムな閾値を選択します。最初は精度が低下するように思えるかもしれませんが、結果として得られる木々の相関がさらに低くなるため、アンサンブルの平均化によってより多くの分散が相殺されます。多数の木で平均化すれば、個々の悪い分割による損失はごくわずかになり、最適な閾値を探索しないことによる速度向上は相当なものです。
歴史学
Extra Treesは、2006年のMachine Learning誌の論文でPierre Geurts、Damien Ernst、Louis Wehenkelによって提案されました。著者らは、最適なカットポイントを探索するのではなく、分割閾値の完全なランダム化を導入することで、わずかなバイアスの増加と引き換えに分散を大幅に削減できることを示しました。この手法はその後、scikit-learnエコシステムにおけるRandom Forestの標準的な代替手段となり、表形式データのベンチマークにおいて高速で高精度のベースラインとして広く使用されています。
使うべき場面
連続型または混合型の特徴量を持つ表形式データで、高速な学習と高い精度を求める場合にExtra Treesを使用してください。学習時間が制約となる場合に特に有用です。閾値の最適化を削除することで、同等の精度でRandom Forestよりも大幅に高速になります。中程度から大規模なサンプル(約50以上の観測値)の分類および回帰タスクに適しています。組み込みのout-of-bag推定値が必要な場合や、データセットのノイズが非常に高く、完全にランダムな閾値が精度を損なうと疑われる場合は、Random Forestまたは勾配ブースティングを優先してください。非常に小さなデータセットの場合は、ロジスティック回帰や単一の決定木のようなより単純なモデルの方が安全で解釈しやすいです。
限界と注意点
- 組み込みのout-of-bag推定値がないため(Random Forestとは異なり)、偏りのない誤差評価にはクロスバリデーションが必要です。
- 完全にランダムな閾値は、最適な分割が有益な非常にノイズの多いデータでは精度を損なう可能性があります。
- ブラックボックス:明示的な係数を提供しないため、効果量が期待されるオーディエンスにとっては解釈性が制限されます。
- メモリ使用量は、木の数と木の深さとともに増加します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 各分割で閾値の最適化が行われないため、Random Forestよりも高速な学習が可能です。
- 木々の間の高い多様性が強い分散削減につながり、多くの場合Random Forestの精度に匹敵するかそれを上回ります。
- 前処理の仮定なしに、混合特徴量タイプと非線形相互作用を扱います。
- 変数ランキングと選択のためのネイティブな特徴量重要度を提供します。
- 多くの無関係な特徴量を持つ高次元データによくスケールします。
応用
- 表形式データにおける高速な分類および回帰ベースライン。
- 高次元データセットにおける特徴量選択と重要度ランキング。
- バイオインフォマティクス、リモートセンシング、センサーデータ分析における予測モデリング。
- 学習速度が重要なパイプラインハイパーパラメータ探索。
- Random Forestの学習時間が許容できないような大規模データシナリオ。
使い方
使い方
Random Forestとは異なり、Extra Treesはデフォルトではブートストラップサンプルではなく、訓練セット全体で各木を訓練します。これによりサンプリングによるバイアスの導入が減少しますが、組み込みのout-of-bagセットが存在しないことを意味します。したがって、正直な誤差推定のためにはクロスバリデーションが必要です。
各内部ノードでは、ランダムな特徴量のサブセットが抽出されます。各候補特徴量に対して、その特徴量の値の観測範囲から一様にランダムにサンプリングされた分割閾値が選択されます。最適な分割点の探索は行われません。これらのランダムな候補の中から、最適なスコア(例:ジニ不純度減少量)をもたらす特徴量と閾値のペアが選択されます。
木はデフォルトで完全に深く成長します。つまり、葉は可能な限り純粋になります。ランダム化された分割と組み合わせた完全な深さが、アンサンブル全体で分散を低下させる要因です。個々の木は分散が大きいですが、非常に多様です。
すべての木からの予測が結合されます。分類の場合は多数決、回帰の場合は平均値です。木々の間の強い多様性は、個々の誤差が相殺される傾向があることを意味し、アンサンブルを個々の木よりも安定させます。
数式
\hat{y} = \text{mode/mean of } T \text{ trees}よくある落とし穴
- デフォルトでOOB推定値が生成されないため、クロスバリデーションをスキップしてインサンプル精度に依存すること。
- クラスの不均衡を無視すること。適合前にclass_weight='balanced'またはリサンプリングを使用してください。
- F1、AUC、またはRMSEのような補完的な指標なしに、精度のみを報告すること。
- シード間での再現性を確認せずに、特徴量重要度ランキングを安定していると見なすこと。
よくある質問
Extra TreesはRandom Forestとどのように異なりますか?
どちらも各分割でランダムな特徴量サブセットを持つ決定木のアンサンブルです。主な違いは、Extra Treesは閾値を最適化するのではなく完全にランダムに選択し、デフォルトではブートストラップサンプルではなくフル訓練セットで訓練することです。これにより、Extra Treesはより高速になり、通常はより多様で相関の低い木を生成します。
Extra TreesとRandom Forestのどちらを優先すべきですか?
学習速度が重要であるか、データが比較的クリーンな場合、Extra TreesはしばしばRandom Forestの精度に匹敵するかそれを上回り、計算コストは低くなります。組み込みのout-of-bag推定値が必要な場合や、データがノイズが多い場合(より良い分割閾値が役立つ場合)は、Random Forestの方が安全です。
いくつの木が必要ですか?
100本の木から始めて、検証セットまたはクロスバリデーションでパフォーマンスが安定するまで増やしてください。木の数が増えると安定性は向上しますが、メモリ使用量と予測レイテンシが増加します。
Extra Treesは過学習しますか?
個々の木は完全に深く成長し、単独では過学習する可能性がありますが、アンサンブルの平均化により分散が大幅に削減されます。完全なアンサンブルの過学習は一般的にまれですが、特徴量が多い非常に小さなデータセットでは依然として発生する可能性があります。
OOBセットなしでモデルのパフォーマンスをどのように評価しますか?
k分割クロスバリデーションを使用してください。通常は5または10分割です。分類タスクは精度、F1、AUCで評価し、回帰タスクはRMSEとR-squaredで評価してください。