Règles d'association
- Introduite par
- Agrawal, R., Imielinski, T., & Swami, A.
- Année
- 1993
- Type
- Unsupervised pattern discovery
- Famille
- Machine learning
Ce texte est une traduction automatique et n’a pas encore été relu. Lire l’original en anglais
À quoi sert-elle ?
L'apprentissage des règles d'association est une technique non supervisée qui découvre des motifs de co-occurrence — des implications « si X alors Y » — au sein de grands ensembles de données transactionnelles.
Formalisée à l'origine par Agrawal, Imielinski et Swami (1993) pour l'analyse des paniers d'achat dans les supermarchés, elle est aujourd'hui largement appliquée dans les recommandations de commerce électronique, l'informatique de la santé, la bio-informatique et la recherche comportementale.
L’intuition derrière la méthode
Imaginez scanner des millions de reçus d'achat et vous demander : quelles combinaisons de produits ont tendance à apparaître ensemble ? L'exploration des règles d'association répond à cette question en comptant la fréquence à laquelle des ensembles d'articles co-apparaissent (support), la fiabilité avec laquelle un article en prédit un autre (confiance), et si la co-occurrence est plus forte que le hasard (lift). Des règles comme « couches → bière » avec une confiance et un lift élevés révèlent des comportements réels plutôt que des coïncidences, ce qui en fait un outil d'exploration puissant lorsque vous n'avez pas de variable de résultat à superviser.
Histoire
L'apprentissage des règles d'association a été formellement introduit par Agrawal, Imielinski et Swami lors de la conférence ACM SIGMOD en 1993, motivé par le défi de l'exploration des bases de données de transactions de supermarchés. Leur article ultérieur de 1994 a introduit l'algorithme Apriori, fournissant une méthode de calcul efficace. Le domaine s'est développé rapidement dans les années 1990 et 2000, FP-growth (Han et al., 2000) offrant plus tard des améliorations de vitesse supplémentaires. Les règles d'association restent une technique fondamentale dans les cursus d'exploration de données et sont régulièrement appliquées dans l'analyse de détail, de santé et du web.
Quand l’utiliser
Utilisez les règles d'association lorsque votre objectif est la découverte exploratoire de motifs de co-occurrence dans des données transactionnelles ou codées en binaire — paniers d'achat, co-diagnostics cliniques, flux de clics, batteries d'items de sondage, ou profils d'expression génique. La méthode est non supervisée et ne nécessite aucune étiquette de résultat, ce qui la rend idéale pour la génération d'hypothèses. Ne l'utilisez pas lorsque vous avez une variable de résultat définie et que vous cherchez à la prédire (utilisez plutôt la classification ou la régression supervisée) ; lorsque vos données sont continues et n'ont pas été significativement discrétisées ; lorsque les tailles d'échantillon sont faibles (les ensembles d'articles épars donnent des estimations de support peu fiables) ; ou lorsque le résultat des règles sera confondu avec une inférence causale — les règles d'association sont purement corrélationnelles.
Limites et points d’attention
- Nécessite que les données soient transactionnelles ou binaires discrétisées ; les caractéristiques continues nécessitent une mise en bacs, ce qui introduit des choix arbitraires.
- Le nombre de règles peut être énorme ; un filtrage post-hoc et un classement par lift ou d'autres mesures d'intérêt sont obligatoires.
- Les seuils de support et de confiance doivent être définis par le chercheur ; les résultats sont sensibles à ces choix.
- Les règles sont purement corrélationnelles — les affirmations causales nécessitent une conception d'étude supplémentaire (par exemple, expérimentale ou quasi-expérimentale).
- Coûteux en calcul sur des ensembles de données avec de très grands ensembles d'articles, même avec l'élagage.
Les conditions de la source ne remplacent ni une revue scientifique indépendante ni la validation par un moteur d’analyse.
Points forts
- Entièrement non supervisée : aucune variable de résultat étiquetée requise, permettant une découverte de motifs ouverte.
- Sortie interprétable : chaque règle est une déclaration SI-ALORS lisible par l'homme avec un support, une confiance et un lift quantifiés.
- Évolutivité aux très grandes bases de données transactionnelles via des heuristiques d'élagage (Apriori, FP-growth).
- Applicable dans tous les domaines où la co-occurrence dans des enregistrements codés en binaire est significative.
- Génération d'hypothèses : met en évidence des co-occurrences inattendues qui peuvent guider des analyses de confirmation ultérieures.
Applications
- Analyse du panier d'achat : identifier quels produits sont fréquemment achetés ensemble pour guider le placement des produits et les promotions.
- Recommandation en commerce électronique : générer des suggestions du type « les clients qui ont acheté X ont également acheté Y ».
- Découverte de co-morbidités cliniques : trouver des ensembles de diagnostics, de médicaments ou de symptômes qui co-apparaissent dans les dossiers des patients.
- Bioinformatique : détecter des gènes co-exprimés ou des variants génétiques co-occurrants à travers des échantillons.
- Exploration de l'utilisation du web : découvrir des motifs de flux de clics et des séquences de navigation courants sur les sites web.
- Recherche par sondage et comportementale : trouver des ensembles d'items de questionnaire ou de comportements qui co-apparaissent chez les répondants.
Comment ça marche
Comment ça marche
L'ensemble de données est représenté sous forme de matrice de transactions binaires : chaque ligne est une transaction et chaque colonne est un article possible, avec un 1 indiquant que l'article était présent. Cette représentation éparse et large est le format d'entrée principal ; les articles non binaires ou quantitatifs doivent être discrétisés avant cette étape.
Toutes les combinaisons d'articles (ensembles d'articles) dont la fréquence dans la base de données transactionnelles atteint un seuil de support minimum défini par l'utilisateur sont identifiées. Le principe Apriori — tout sous-ensemble d'un ensemble d'articles fréquent est également fréquent — élague considérablement l'espace de recherche combinatoire, rendant l'énumération traitable même sur de grands catalogues.
Formule
\text{support}(X) = \frac{|\{t \in T : X \subseteq t\}|}{|T|} \geq \text{min\_sup}Pour chaque ensemble d'articles fréquent, toutes les divisions antécédent-conséquent possibles (X → Y où X et Y sont des sous-ensembles disjoints non vides) sont générées comme règles candidates. Le nombre de candidats peut être important, de sorte que l'étape de filtrage ultérieure est essentielle.
Formule
X \Rightarrow Y, \quad X \cap Y = \emptyset
Chaque règle candidate est évaluée par sa confiance : la probabilité conditionnelle que Y soit présent étant donné que X est présent. Seules les règles dépassant un seuil de confiance minimum sont conservées, filtrant les antécédents qui ne prédisent le conséquent que marginalement mieux que le taux de base.
Formule
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}Les règles conservées sont classées par lift, le rapport du support conjoint observé au support attendu en cas d'indépendance. Un lift supérieur à 1 signale une association positive réelle ; un lift proche de 1 indique que les articles co-apparaissent pas plus que par hasard ; un lift inférieur à 1 indique une association négative. Le tri par lift met en évidence les règles les plus exploitables et non triviales.
Formule
\text{lift}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X) \cdot \text{support}(Y)}Pièges courants
- Définir un support minimum trop bas, ce qui inonde la sortie de règles fallacieuses à faible fréquence qui ne généralisent pas.
- Ignorer le lift et rapporter toutes les règles à haute confiance, dont beaucoup peuvent simplement refléter des articles à taux de base élevé.
- Traiter les règles découvertes comme causales sans validation supplémentaire (par exemple, confondre « bière et couches co-apparaissent » avec « la bière provoque l'achat de couches »).
- Appliquer les règles d'association à des données continues sans discrétisation principielle, produisant des règles qui dépendent entièrement de limites de bacs arbitraires.
- Ignorer les préoccupations relatives aux comparaisons multiples lorsque des milliers de règles sont générées et mises en évidence sélectivement.
Questions fréquentes
Comment choisir les seuils de support et de confiance minimum ?
Il n'y a pas de règle universelle. Commencez par explorer la distribution du support des articles individuels, puis définissez un support minimum suffisamment bas pour capturer les motifs d'intérêt, mais suffisamment élevé pour garantir que les ensembles d'articles apparaissent dans au moins un nombre absolu significatif de transactions. Une confiance minimum de 0,6 à 0,8 est une plage de départ courante, mais la connaissance du domaine et le classement basé sur le lift devraient guider la sélection finale.
Quelle est la différence entre la confiance et le lift, et lequel devrais-je privilégier ?
La confiance mesure la fréquence à laquelle Y suit X parmi les transactions contenant X, mais elle ignore le taux de base de Y. Le lift corrige cela en divisant la confiance par le support marginal de Y. Une règle avec une confiance élevée mais un lift proche de 1 ajoute peu d'informations au-delà de savoir que Y est courant. Privilégiez le lift lors du filtrage des associations véritablement non triviales.
Les règles d'association peuvent-elles être utilisées pour la prédiction ?
Elles sont principalement descriptives et exploratoires plutôt que prédictives. Bien qu'il soit possible d'utiliser des règles avec un conséquent fixe (un seul article cible) pour la classification — une technique appelée classification associative — l'exploration standard des règles d'association n'optimise pas une fonction de perte prédictive et ne devrait pas remplacer les modèles supervisés lorsqu'un résultat étiqueté est disponible.
Mon ensemble de données contient des variables continues. Puis-je toujours utiliser les règles d'association ?
Seulement après discrétisation. Les variables continues doivent être mises en bacs en intervalles catégoriels (par exemple, groupes d'âge, quintiles) avant d'être encodées comme articles binaires. Le choix des limites des bacs affecte considérablement les règles qui émergent, de sorte que les décisions de discrétisation doivent être motivées théoriquement et rapportées de manière transparente.
En quoi les règles d'association diffèrent-elles de l'analyse de corrélation ?
La corrélation (par exemple, le r de Pearson) mesure la relation linéaire entre deux variables continues. Les règles d'association découvrent des motifs de co-occurrence parmi des ensembles d'articles binaires — de toute taille de combinaison — dans des données transactionnelles. Les métriques (support, confiance, lift) sont basées sur la fréquence plutôt que sur les moments, et le résultat est un ensemble de règles lisibles par l'homme SI-ALORS plutôt qu'un seul coefficient numérique.
Méthodes associées
Sources
Agrawal, R., Imielinski, T., & Swami, A. (1993). Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, 207–216.
Ouvrir la référence DOICopié.Tan, P.-N., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to Data Mining (2nd ed., Ch. 5). Pearson.
ISBN : 978-0-13-312890-1Copié.