ランダムフォレスト
- 提唱者
- Breiman, L.
- 年
- 2001
- 種類
- Ensemble (bagging of decision trees)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
ランダムフォレストは、Leo Breimanが2001年に発表したアンサンブル学習法です。データのブートストラップサンプルから多数の決定木を生成し、それらの投票を組み合わせることで、強力な分類と回帰を実現します。多数のわずかに異なる木を統合することで、個々の木よりも正確で安定した予測を生成します。
手法の背後にある直感
深く成長した単一の決定木は、訓練データに密接に適合しますが、不安定です。データにわずかな変化があっただけでも、全く異なる木が生成される可能性があります。ランダムフォレストは、データのわずかに異なるランダムな視点に基づいて多数の木を構築し、それらに投票させることでこの問題に対処します。個々の木の誤差は相殺される傾向があるため、結合された予測は単一の木よりもはるかに信頼性が高くなります。
歴史学
Random Forestは、Leo Breimanによって2001年に提案され、ブートストラップ集約と各分割におけるランダムな特徴選択を組み合わせたものです。これは、表形式データに対する最も広く使用され、信頼性の高い既成の機械学習手法の1つとなり、『An Introduction to Statistical Learning』(第8章)などのテキストにおける標準的な参照となっています。最近では、SHAP値のようなツールがその解釈可能性をロジスティック回帰のそれに近づけ、社会科学におけるその受容性を高めています。
使うべき場面
Random Forestは、多くの(非線形および相互作用する可能性のある)特徴と少なくとも約50の観測値を持つ表形式データにおいて、正確で堅牢な分類、回帰、または予測に適しています。特に、明示的な係数を報告することよりも予測性能が重視される場合に有効です。Random Forestは仮定が少なく、正規分布したデータを必要とせず、連続、カテゴリ、二値、順序、およびカウントの特徴を扱えます。ハイパーパラメータのチューニングが推奨されます。サンプルサイズが約50を下回る場合、ロジスティック回帰や線形回帰のようなより単純なモデルの方が安全です。
限界と注意点
- 解釈すべき係数がありません。そのブラックボックス的な性質は、明示的な効果を期待する査読者と衝突する可能性があります。
- ハイパーパラメータのチューニングが推奨され、大規模なフォレストはメモリと計算コストがかかります。
- 小規模なサンプル(nが約50未満)では、多くの木が過学習し、交差検定の結果が誤解を招く可能性があります。
- 特徴量重要度の推定値は、サンプルサイズが小さい場合、不安定で再現性が低い可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 分類と回帰の両方において、表形式データに対する強力な既成の精度。
- バギングと各分割におけるランダムな特徴選択により、過学習に対する高い耐性があります。
- 組み込みの特徴量重要度により、変数ランキングがモデルに直接統合されます。
- Out-of-bag誤差は、別途交差検定を行うことなく、正直な検証推定値を提供します。
- 仮定が少ない:正規性の要件がなく、混合された特徴タイプと非線形相互作用を扱えます。
応用
- 多数の特徴を持つ表形式データにおける分類と回帰。
- ネイティブな特徴量重要度による変数選択とランキング。
- 明示的な係数よりも堅牢性が重視されるリスクスコアリングと予測。
- 勾配ブースティングのようなより複雑なアンサンブルを試す前のベースラインモデリング。
使い方
使い方
訓練セットから多数のブートストラップサンプルが抽出されます。各サンプルは復元抽出によるランダムサンプルであるため、木はわずかに異なるデータを見ることになります。特定のサンプルから除外された観測値(out-of-bagセット)は、別途ホールドアウトフォールドを必要とせずに、組み込みの検証推定値を提供します。
各木の各分割において、利用可能な特徴のランダムなサブセットのみが候補として考慮されます。このランダムな特徴選択は、木々の相関を低減させ、すべての木が同じ支配的な予測因子に固執することを防ぎます。これにより、アンサンブルは単一の木の分散を下回ることを可能にします。
各木は独自の予測を行い、フォレストはそれらを結合します。分類の場合は木々全体の多数決、回帰の場合は出力の平均です。この集約が、多くのノイズの多い木を1つの堅牢な予測器に変えるのです。
数式
\hat{y} = \text{mode/mean of } T \text{ trees}よくある落とし穴
- 訓練/テスト分割または交差検定をスキップし、in-sample性能を信頼すること。
- クラスの不均衡を無視し、クラスの重み付け(class_weight='balanced')やリサンプリングを行わないこと。
- F1スコアやAUCを併記せずに、精度のみを報告すること。
- 小規模サンプルの特徴量重要度ランキングを安定していると見なすこと。
- 木の数をチューニングせずに、デフォルトのハイパーパラメータを盲目的に受け入れること。
よくある質問
フォレストにはいくつの木が必要ですか?
木の数を増やすと、計算とメモリのコストはかかりますが、分散が減少し、投票が安定します。一般的な出発点は約100本の木で、out-of-bag誤差が改善しなくなるまで増やします。
Random Forestは過学習しますか?
バギングとランダムな特徴選択が木々の相関を低減し、個々の誤差を平均化するため、過学習に対して非常に高い耐性があります。主なリスクは、非常に小さなデータセットで多くの深い木を適合させることで、モデルが過学習し、交差検定が誤解を招くようになることです。
特徴量重要度を信頼できますか?
特徴量重要度は予測因子をランク付けするのに役立ちますが、サンプルサイズが小さい場合、不安定で再現性が低い可能性があるため、小規模サンプルのランキングは注意して扱ってください。SHAP分析と組み合わせることで、各特徴の寄与をより明確に把握できます。
適合前後に何をチェックすべきですか?
事前に、欠損値を処理し、カテゴリ変数をエンコードし、訓練/テスト分割またはk分割交差検定を設定します。事後に、out-of-bag誤差を評価し、交差検定を実行し、特徴の寄与(例えばSHAPを用いて)を検査します。
関連する手法
参考文献
Breiman, L. (2001). Random Forests. Machine Learning, 45, 5–32.
DOI 文献を開くコピーしました。James, G., Witten, D., Hastie, T. & Tibshirani, R. (2013). An Introduction to Statistical Learning (Ch. 8). Springer.
ISBN:978-1-4614-7138-7コピーしました。