決定木
- 提唱者
- Breiman, Friedman, Olshen & Stone
- 年
- 1984
- 種類
- Recursive partitioning (if-then rules)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
決定木は、Breiman、Friedman、Olshen、Stoneが1984年のCARTフレームワークで定式化した、解釈可能な分類および回帰手法であり、階層的なif-thenルールを用いてデータを分割します。各分割は、予測が葉から読み取られるまで、観測値を一方または他方の枝に送ります。
手法の背後にある直感
決定木をイエス・ノーの質問のフローチャートとして考えてみてください。すべてのデータから始めて、木はケースを最もよく分離する1つの特徴に関する単一の質問を繰り返し尋ねます。例えば、「年齢は40歳以上か?」といった質問で、データを2つのグループに分割します。各グループ内のケースが合理的に均質になるまで分割を続け、最終的なグループ(葉)が予測を与えます。根から葉への質問の連鎖は、誰でもたどることができるルールです。
歴史学
決定木は、Leo Breiman、Jerome Friedman、Richard Olshen、Charles Stoneによって1984年のモノグラフ『Classification and Regression Trees』で厳密な基礎が与えられました。このモノグラフでは、CARTアルゴリズムと、ジニ係数などの不純度測度の使用が導入されました。透明なif-then構造により、決定木は応用分析の定番となり、後に、より強力なアンサンブル(ランダムフォレストにバギングされ、勾配ブースティングでブーストされる)の核となる構成要素となりました。これらのアンサンブルでは、多くの木が組み合わされて、単一の木の不安定性を克服します。
使うべき場面
連続型、カテゴリ型、二値型、順序型の特徴が混在する、少なくとも約30個の観測値を持つ横断的な表形式データに対して、分類、予測、または説明のための解釈可能なモデルが必要な場合に決定木を使用します。特徴量のスケーリングは不要で、ルールは伝達しやすいです。約30ケースを下回ると、木は容易に過学習し(葉が単一の観測値を持つことがあります)、ロジスティック回帰やナイーブベイズのような、より単純で安定したモデルの方が安全です。
限界と注意点
- max_depthまたはmin_samples_leafによって剪定されない限り、過学習しやすいです。
- 小規模なサンプル(約30未満のn)では、木は容易に過学習し、葉が単一の観測値を含む場合があります。
- 剪定後の小規模サンプル木は、有用な分割が少なすぎる場合があり、その点ではロジスティック回帰の方が安定しています。
- 単一の木は不安定です。データのわずかな変化が非常に異なる構造を生み出す可能性があります。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 高い解釈性:根から葉へのパスは明確なif-thenルールです。
- 特徴量のスケーリングは不要で、連続型、カテゴリ型、二値型、順序型の特徴量を直接扱えます。
- 難易度が低い — 初心者ユーザーにも適しています。
- ランダムフォレストや勾配ブースティングなどのアンサンブルの構成要素として機能します。
応用
- 横断的な表形式データの解釈可能な分類。
- 透明なルールが重視される予測とリスクセグメンテーション。
- どの特徴量と閾値が結果を駆動するかを明らかにするための説明分析。
- ランダムフォレストや勾配ブースティングなどのアンサンブル内のベース学習器。
使い方
使い方
各ノードで、木はすべての特徴とすべての可能な閾値を探索し、純度を最も向上させる分割を見つけます。CARTアルゴリズムは通常、分類にジニ係数または情報利得を使用します。不純度の減少が最大となる分割が選択されるため、各枝には以前よりも類似したケースが含まれます。
数式
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
選択された分割が適用され、その手順は結果として生じる各枝で再帰的に繰り返され、データは何度も分割されます。特徴量のスケーリングは不要なため、連続型、カテゴリ型、二値型、順序型の特徴量をすべて直接使用できます。無制限に成長させると、木は葉がほぼ純粋になるまで成長し続けます。これはまさに過学習が忍び寄る点です。
過学習を制御するために、木は制約されます。深さを制限する(max_depth)、葉あたりの最小ケース数を要求する(min_samples_leaf)、またはほとんど寄与しない枝を剪定する、といった方法です。その結果、読みやすいルールのコンパクトなセットが得られます。根から葉へのパスは透明な決定ルールであり、これが決定木が初心者にも適している理由です。
よくある落とし穴
- max_depthやmin_samples_leafを制限せずに、木を完全に成長させること。
- 約30未満の観測値に対して、単一の深い木を信頼すること。
- 不安定な小規模サンプル木を、データの安定した説明として解釈すること。
- 訓練/テスト分割または交差検定なしで、インサンプル精度を報告すること。
よくある質問
分割はどのように選択されますか?
CARTアルゴリズムは、すべての特徴量と閾値にわたる候補分割を評価し、ノードの不純度を最も減少させるものを選択します。これは通常、分類の場合、ジニ係数または情報利得によって測定されます。
決定木はなぜ過学習するのですか、そしてそれを止めるにはどうすればよいですか?
自由に成長させると、木は葉がほぼ純粋になるまで分割を続け、ノイズを記憶してしまいます。深さを制限する(max_depth)、葉あたりの最小ケース数を要求する(min_samples_leaf)、またはほとんど寄与しない枝を剪定することによって、それを抑制します。
どのくらいのデータが必要ですか?
少なくとも約30個の観測値を目指してください。それ以下では、木は容易に過学習し(葉が単一のケースを含むことがあります)、ロジスティック回帰やナイーブベイズのような、より単純なモデルの方が安定しています。
決定木はランダムフォレストとどのように関連していますか?
単一の決定木はアンサンブルの構成要素です。ランダムフォレストは、リサンプリングされたデータ上で多くの木を成長させ、それらの投票を結合します。勾配ブースティングは、木を順次構築します。どちらも、単一の木の透明性と引き換えに、より高い精度と安定性を実現します。
関連する手法
参考文献
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
DOI 文献を開くコピーしました。