アイソレーションフォレスト
- 提唱者
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- 年
- 2008
- 種類
- Unsupervised ensemble (random partitioning trees)
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アイソレーションフォレストは、2008年にLiu、Ting、Zhouによって導入された、教師なし機械学習による異常および外れ値検出手法であり、データのランダムなパーティショニングを通じて異常を分離します。ラベル付けされた異常データなしで機能し、高次元データセットにもスケーラブルです。
手法の背後にある直感
中心的な考え方は単純です。異常は少なく、異質であるため、データの残りの部分から容易に分離できます。データをランダムに分割し続けると、通常の点は密集した領域にあり、分離するには多くの分割が必要ですが、外れ値は離れており、数回の分割で切り離されます。各点を分離するのにかかる分割数を数えることで、この直観を異常スコアに変換します。
歴史学
アイソレーションフォレストは、2008年にIEEE International Conference on Data MiningでFei Tony Liu、Kai Ming Ting、Zhi-Hua Zhouによって提案されました。外れ値検出に異なる哲学を導入しました。通常のデータをプロファイリングして偏差を測定するのではなく、異常が少なく異質であるという事実を利用して、ランダムパーティショニングを通じて異常を直接分離します。このアプローチは、高次元データに対する教師なし異常検出のための広く使用されているスケーラブルなツールとなりました。
使うべき場面
アイソレーションフォレストを、連続的で、場合によっては高次元の、横断的または時系列データで、少なくとも約50の観測値がある場合に使用します。特に、学習するためのラベル付けされた異常がない場合に有効です。ラベル付けされた異常データは必要とせず、特徴数の増加にもよくスケーラブルです。予想される異常率を表す汚染パラメータを指定します。約50未満の観測値では、通常の点と異常な点の間の境界が信頼できなくなり、統計的外れ値手法またはPCAの方が安全です。
限界と注意点
- 小さなサンプル(nが約50未満)では、通常の点と異常な点の間の境界が不明瞭であり、偽陽性率が高くなります。
- 十分な実際の異常がない場合、汚染パラメータは無意味になり、統計的外れ値手法が好まれます。
- 解釈可能な係数や明示的なルールではなく、異常スコアを返します。
- 結果は、ドメイン知識から設定する必要がある選択された汚染値に依存します。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 教師なし:外れ値をフラグ付けするためにラベル付けされた異常データは必要ありません。
- 高次元データによくスケーラブルです。
- 通常の分布全体をモデル化するのではなく、異常を直接分離するため、効率的です。
- 単一の汚染パラメータが予想される異常率を表し、フラグ付けのしきい値を設定します。
応用
- 連続データにおける教師なし外れ値および異常検出。
- ラベル付けされた異常が存在しない高次元データセットのスクリーニング。
- モデリングの前に、横断的または時系列データにおける異常な観測値のフラグ付け。
- データ品質チェックおよび不規則なレコードの探索的検出。
使い方
使い方
アイソレーションフォレストは、外れ値検出の通常の論理を逆転させます。通常の点のプロファイルを作成し、そこから逸脱するものをフラグ付けするのではなく、異常が少なく異質であるため分離が速いという事実を直接利用します。ラベル付けされた異常を必要としないため、完全に教師なしであり、高次元データにもよくスケーラブルです。
この手法は、多くのランダムパーティショニングツリーを構築します。各ツリーでは、データはランダムに選択された特徴とランダムな分割値によって再帰的に分割され、空間はより小さく、より小さく分割されて、各点が単独になるまで分割されます。通常の点(混雑した領域に埋もれている)を分離するには、このような多くのパーティションが必要ですが、離れた場所にある異常は数回の分割で分離されます。
各点のパス長(それを分離するのに必要な分割数)は、フォレスト全体で平均化され、異常スコアに変換されます。平均パス長が短いことは異常の可能性が高いことを意味し、パス長が長いことは通常の点の可能性が高いことを意味します。汚染パラメータ(異常の予想される割合)は、最終的にどの点が外れ値としてフラグ付けされるかを決定するしきい値を設定します。
数式
s(x) = 2^{-\frac{E(h(x))}{c(n)}}よくある落とし穴
- 約50未満の観測値で実行し、フラグ付けされた異常を信頼すること。
- 実際の実際の異常がデータに十分にない状態で汚染パラメータを設定すること。
- 異常スコアを相対的なランキングではなく、正確な確率として扱うこと。
- 特徴のスケーリングと、無関係な特徴がランダム分割に与える影響を無視すること。
よくある質問
アイソレーションフォレストを使用するためにラベル付けされた異常が必要ですか?
いいえ。これはランダムパーティショニングを通じて異常を分離する教師なし手法であるため、操作にラベル付けされた異常データは必要ありません。
汚染パラメータは何をしますか?
データ内の異常の予想される割合を表し、最終的にどの点が外れ値としてフラグ付けされるかを決定するしきい値を設定します。データ内に十分な実際の異常がない場合、このパラメータは無意味になります。
なぜ小さなサンプルで苦労するのですか?
約50未満の観測値では、通常の点と異常な点の間の境界が不明瞭であり、偽陽性率が高くなります。その場合、統計的外れ値手法またはPCAの方が安全な代替手段です。
異常はどのようにスコアリングされますか?
ランダムツリー全体での各点の平均パス長(それを分離するのにかかった分割数)は、異常スコアに変換されます。短い平均パスは異常の可能性が高いことを示し、長いパスは通常の点の可能性が高いことを示します。
関連する手法
参考文献
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
DOI 文献を開くコピーしました。