アソシエーションルール
- 提唱者
- Agrawal, R., Imielinski, T., & Swami, A.
- 年
- 1993
- 種類
- Unsupervised pattern discovery
- 系統
- Machine learning
この文章は機械翻訳で、まだ確認されていません。 英語の原文を読む
何をする手法か?
アソシエーションルール学習は、大規模なトランザクションデータセット内における共起パターン、すなわち「もしXならばY」という含意を発見する教師なし手法です。元々はAgrawal、Imielinski、およびSwami (1993)によってスーパーマーケットのバスケット分析のために定式化されましたが、現在ではeコマースのレコメンデーション、医療情報学、バイオインフォマティクス、行動研究など、幅広い分野で応用されています。
手法の背後にある直感
何百万もの買い物レシートをスキャンし、「どの商品の組み合わせが一緒に現れる傾向があるか?」と問いかける状況を想像してみてください。アソシエーションルールマイニングは、アイテムセットがどれくらいの頻度で共起するか(サポート)、あるアイテムが別のアイテムをどれほど確実に予測するか(確信度)、そして共起が偶然よりも強いかどうか(リフト)を数えることで、その問いに答えます。「おむつ → ビール」のような、高い確信度とリフトを持つルールは、単なる偶然ではなく真の行動パターンを明らかにし、予測すべき結果変数が存在しない場合に強力な探索的ツールとなります。
歴史学
アソシエーションルール学習は、スーパーマーケットのトランザクションデータベースをマイニングするという課題を動機として、Agrawal、Imielinski、およびSwamiによって1993年のACM SIGMOD会議で正式に導入されました。彼らのその後の1994年の論文では、効率的な計算手法を提供するAprioriアルゴリズムが導入されました。この分野は1990年代から2000年代にかけて急速に発展し、FP-growth (Han et al., 2000)は後にさらなる速度向上をもたらしました。アソシエーションルールはデータマイニングのカリキュラムにおける基礎的な手法であり続け、小売、ヘルスケア、ウェブ分析で日常的に適用されています。
使うべき場面
アソシエーションルールは、購買バスケット、臨床的併存疾患、クリックストリーム、調査項目バッテリー、遺伝子発現プロファイルなど、トランザクションデータまたは二値コード化されたデータにおける共起パターンの探索的発見が目標である場合に使用します。この手法は教師なしであり、結果ラベルを必要としないため、仮説生成に最適です。定義された結果変数があり、それを予測しようとする場合(代わりに教師あり分類または回帰を使用)、データが連続的で意味のある離散化がされていない場合、サンプルサイズが小さい場合(スパースなアイテムセットは信頼性の低いサポート推定値をもたらします)、またはルール出力が因果推論と誤解される場合(アソシエーションルールは純粋に相関的です)には使用しないでください。
限界と注意点
- データがトランザクション型または離散化された二値である必要がある。連続的な特徴はビン分割が必要であり、恣意的な選択が導入される。
- ルールの数が膨大になる可能性がある。リフトやその他の興味深さの尺度による事後フィルタリングとランキングが必須である。
- サポートと確信度の閾値は研究者が設定する必要があり、結果はこれらの選択に敏感である。
- ルールは純粋に相関的である。因果関係の主張には追加の研究デザイン(例:実験または準実験)が必要である。
- 剪定を行っても、非常に大きなアイテムセットを持つデータセットでは計算コストが高い。
出典に示された条件は、独立した科学的レビューや分析エンジンによる検証の代わりにはなりません。
強み
- 完全に教師なし:ラベル付けされた結果変数は不要で、自由なパターン発見が可能。
- 解釈可能な出力:各ルールは、サポート、確信度、リフトが定量化された人間が読めるIF–THENステートメントである。
- 剪定ヒューリスティクス(Apriori、FP-growth)により、非常に大規模なトランザクションデータベースにも対応可能。
- 二値コード化された記録における共起が意味を持つあらゆるドメインで適用可能。
- 仮説生成:予期せぬ共起を浮上させ、その後の確認分析を導くことができる。
応用
- マーケットバスケット分析:どの商品が頻繁に一緒に購入されるかを特定し、商品配置とプロモーションを導く。
- Eコマースのレコメンデーション:「Xを購入した顧客はYも購入しました」という提案を生成する。
- 臨床的併存疾患の発見:患者記録において共起する診断、投薬、または症状のセットを見つける。
- バイオインフォマティクス:サンプル間で共発現する遺伝子または共起する遺伝子変異を検出する。
- ウェブ利用マイニング:ウェブサイト上の一般的なクリックストリームパターンとナビゲーションシーケンスを明らかにする。
- 調査および行動研究:回答者間で共起する質問項目または行動のセットを見つける。
使い方
使い方
データセットは二値トランザクション行列として表現されます。各行はトランザクションであり、各列は可能なアイテムを表し、1はアイテムが存在したことを示します。このスパースで幅の広い表現がコアとなる入力形式であり、このステップの前に非二値または量的アイテムは離散化される必要があります。
トランザクションデータベースにおける頻度がユーザー設定の最小サポート閾値を超えるすべてのアイテムの組み合わせ(アイテムセット)が特定されます。Aprioriの原理(頻出アイテムセットのどのサブセットも頻出である)は、組み合わせ探索空間を劇的に剪定し、大規模なカタログでも列挙を可能にします。
数式
\text{support}(X) = \frac{|\{t \in T : X \subseteq t\}|}{|T|} \geq \text{min\_sup}各頻出アイテムセットについて、すべての可能な先行条件と結果条件の分割(XとYが互いに素な空でないサブセットであるX → Y)が候補ルールとして生成されます。候補の数は多くなる可能性があるため、その後のフィルタリングステップが不可欠です。
数式
X \Rightarrow Y, \quad X \cap Y = \emptyset
各候補ルールは確信度によって評価されます。これは、Xが存在する場合にYが存在する条件付き確率です。最小確信度閾値を超えるルールのみが保持され、ベースレートよりもわずかにしか結果条件を予測しない先行条件は除外されます。
数式
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}保持されたルールはリフトによってランク付けされます。リフトは、観測された結合サポートと独立性を仮定した場合に期待されるサポートの比率です。リフトが1より大きい場合は真の正の関連性を示し、リフトが1に近い場合はアイテムが偶然以上に共起しないことを示し、リフトが1未満の場合は負の関連性を示します。リフトでソートすることで、最も実用的で自明でないルールが浮上します。
数式
\text{lift}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X) \cdot \text{support}(Y)}よくある落とし穴
- 最小サポートを低く設定しすぎると、一般化できない偽の低頻度ルールで出力が溢れてしまう。
- リフトを無視し、すべての高確信度ルールを報告すること。その多くは単に高いベースレートのアイテムを反映しているにすぎない場合がある。
- 発見されたルールをさらなる検証なしに因果関係として扱うこと(例:「ビールとおむつが共起する」を「ビールがおむつの購入を引き起こす」と混同すること)。
- 原理に基づかない離散化なしに連続データにアソシエーションルールを適用し、恣意的なビン境界に完全に依存するルールを生成すること。
- 何千ものルールが生成され、選択的に強調表示される場合に、多重比較の問題を見落とすこと。
よくある質問
最小サポートと確信度の閾値はどのように選択すればよいですか?
普遍的なルールはありません。まず個々のアイテムのサポート分布を探索し、関心のあるパターンを捉えるのに十分低く、かつアイテムセットが少なくとも意味のある絶対数のトランザクションに現れるのに十分高く、最小サポートを設定します。最小確信度0.6〜0.8は一般的な開始範囲ですが、ドメイン知識とリフトに基づくランキングが最終的な選択を導くべきです。
確信度とリフトの違いは何ですか?どちらを優先すべきですか?
確信度は、Xを含むトランザクションのうちYがどれくらいの頻度で続くかを測定しますが、Yのベースレートを無視します。リフトは、確信度をYの周辺サポートで割ることにより、これを補正します。確信度が高くてもリフトが1に近いルールは、Yが一般的であることを知っている以上の情報を提供しません。真に自明でない関連性をフィルタリングする際には、リフトを優先してください。
アソシエーションルールは予測に使用できますか?
これらは主に記述的および探索的であり、予測的ではありません。固定された結果条件(単一のターゲットアイテム)を持つルールを分類に使用することは可能ですが(アソシエイティブ分類と呼ばれる手法)、標準的なアソシエーションルールマイニングは予測損失関数を最適化せず、ラベル付けされた結果が利用可能な場合に教師ありモデルに取って代わるべきではありません。
私のデータセットには連続変数があります。それでもアソシエーションルールを使用できますか?
離散化後のみ可能です。連続変数は、二値アイテムとしてエンコードする前に、カテゴリカルな区間(例:年齢層、五分位)にビン分割する必要があります。ビン境界の選択は、どのルールが出現するかに大きく影響するため、離散化の決定は理論的に動機付けられ、透明性をもって報告されるべきです。
アソシエーションルールは相関分析とどう異なりますか?
相関(例:ピアソンのr)は、2つの連続変数間の線形関係を測定します。アソシエーションルールは、トランザクションデータ内の二値アイテムのセット(任意の組み合わせサイズ)間の共起パターンを発見します。メトリクス(サポート、確信度、リフト)はモーメントベースではなく頻度ベースであり、出力は単一の数値係数ではなく、人間が読めるIF–THENルールのセットです。
関連する手法
参考文献
Agrawal, R., Imielinski, T., & Swami, A. (1993). Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, 207–216.
DOI 文献を開くコピーしました。Tan, P.-N., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to Data Mining (2nd ed., Ch. 5). Pearson.
ISBN:978-0-13-312890-1コピーしました。