Saltar al contenido
Volver a los resultados

Reglas de Asociación Semi-supervisadas

Propuesto por
Liu, B.; Hsu, W.; Ma, Y. (and subsequent researchers)
Año
2003–2010s
Tipo
Pattern mining with partial supervision
Familia
Machine learning

Este texto es una traducción automática y aún no se ha revisado. Leer el original en inglés

Tamaño de letra

¿Qué hace?

La minería de reglas de asociación semi-supervisada extiende el aprendizaje clásico de reglas de asociación al incorporar una pequeña cantidad de datos etiquetados junto con un conjunto de datos no etiquetados más grande.

Utiliza información de clase conocida o restricciones proporcionadas por el usuario para guiar el descubrimiento de reglas que son tanto estadísticamente frecuentes como semánticamente significativas, uniendo la minería de patrones no supervisada con una supervisión ligera.

La intuición detrás del método

La minería de reglas de asociación estándar encuentra todos los patrones de co-ocurrencia frecuentes sin ningún sentido de lo que importa. Las reglas de asociación semi-supervisadas cambian esto al permitir que un pequeño conjunto de ejemplos etiquetados o restricciones de dominio dirijan la búsqueda: se prefieren las reglas que se alinean con la estructura de clase conocida sobre las estadísticamente frecuentes pero sin sentido. Piense en ello como darle al algoritmo algunas pistas sobre lo que le importa al analista, para que deje de mostrar patrones triviales o ya conocidos y, en cambio, resalte relaciones genuinamente novedosas y procesables.

Historia

La minería de reglas de asociación fue formalizada por Agrawal, Imielinski y Swami en 1993 con la introducción del algoritmo Apriori, dirigido al descubrimiento no supervisado de conjuntos de ítems frecuentes en datos de cesta de la compra. La integración de etiquetas de clase y restricciones en la minería de reglas de asociación ganó impulso a principios de la década de 2000, notablemente a través de los marcos CMAR y CBA de Liu y colegas, que trataron las etiquetas de clase como consecuentes de reglas. Las extensiones semi-supervisadas surgieron a medida que los investigadores reconocieron que la supervisión parcial podría reducir la explosión combinatoria de reglas candidatas manteniendo la contribución estadística de los datos no etiquetados. El enfoque ahora aparece en bioinformática, minería de datos educativos y sistemas de recomendación.

Cuándo usarlo

Utilice la minería de reglas de asociación semi-supervisada cuando tenga un gran conjunto de datos transaccionales o tabulares, solo una fracción de los cuales contiene etiquetas de clase o anotaciones de dominio, y necesite descubrir patrones de co-ocurrencia que sean genuinamente relevantes para un concepto objetivo en lugar de meramente frecuentes. Es muy adecuado para el análisis de la cesta de la compra con algunos resultados de compra conocidos, la minería de registros médicos donde solo un subconjunto de casos tiene diagnósticos confirmados y la categorización de texto donde los documentos etiquetados son escasos. Evítelo cuando la porción etiquetada sea insignificante (menos de unas pocas docenas de instancias etiquetadas), cuando la supervisión completa sea factible, o cuando los requisitos de interpretabilidad exijan un modelo más simple como la regresión logística o un árbol de decisión.

Limitaciones y consideraciones

  • La calidad de las reglas depende en gran medida de la calidad y representatividad del conjunto de semillas etiquetadas; un subconjunto etiquetado sesgado propaga el sesgo a las reglas descubiertas.
  • La combinación de umbrales de soporte, confianza y restricciones crea un gran espacio de hiperparámetros que es difícil de ajustar sin datos de validación etiquetados.
  • El coste computacional escala con el número de conjuntos de ítems candidatos; los conjuntos de datos con espacios de ítems de muy alta dimensión requieren estrategias de poda agresivas.
  • Los bucles de auto-entrenamiento pueden amplificar errores tempranos si las pseudo-etiquetas iniciales son ruidosas, lo que lleva a una deriva de las reglas a lo largo de las iteraciones.

Las condiciones de la fuente no sustituyen una revisión científica independiente ni la validación por un motor de análisis.

Fortalezas

  • Aprovecha abundantes datos no etiquetados para encontrar patrones que serían estadísticamente invisibles solo con datos etiquetados.
  • Las restricciones derivadas de las etiquetas podan las reglas irrelevantes, produciendo un conjunto de reglas más pequeño y procesable que la minería puramente no supervisada.
  • Las reglas siguen siendo declaraciones IF-THEN legibles por humanos, preservando la ventaja de interpretabilidad del aprendizaje clásico de reglas de asociación.
  • El refinamiento mediante auto-entrenamiento puede mejorar iterativamente tanto la calidad de las reglas como la cobertura de pseudo-etiquetas sin coste adicional de etiquetado.
  • Flexible: las restricciones pueden codificar conocimiento de dominio más allá de simples etiquetas de clase (por ejemplo, orden temporal, jerarquías de ítems).

Aplicaciones

  • Minería de registros médicos donde solo un subconjunto de registros de pacientes tiene diagnósticos confirmados.
  • Análisis de cesta de la compra guiado por un subconjunto conocido de resultados de compra de alto valor.
  • Minería de datos educativos para descubrir patrones de comportamiento de aprendizaje asociados con un pequeño conjunto de resultados de rendimiento de estudiantes etiquetados.
  • Minería de texto y categorización de documentos con escasos corpus etiquetados.
  • Detección de intrusiones donde solo una fracción de los eventos de red son ataques confirmados.
  • Sistemas de recomendación que utilizan valoraciones de usuario escasas para restringir reglas de co-ocurrencia de ítems.

Cómo funciona

Cómo funciona

1

El conjunto de datos se divide en una pequeña porción etiquetada (con etiquetas de clase conocidas o restricciones especificadas por el usuario) y una porción no etiquetada más grande. Los ejemplos etiquetados sirven como semillas o anclas que definen el espacio conceptual objetivo, mientras que las transacciones no etiquetadas proporcionan la masa estadística necesaria para calcular recuentos de soporte fiables.

2

La enumeración de conjuntos de ítems frecuentes se ejecuta en datos etiquetados y no etiquetados utilizando algoritmos clásicos como Apriori o FP-Growth, calculando el soporte como la fracción de transacciones que contienen un conjunto de ítems dado. Solo se conservan como candidatos para la generación de reglas los conjuntos de ítems que superan el umbral mínimo de soporte.

Fórmula
\text{support}(X) = \frac{|\{t \in D : X \subseteq t\}|}{|D|} \geq \text{min\_sup}
3

Se aplican restricciones derivadas de etiquetas o especificadas por el usuario para podar el espacio candidato. Las restricciones pueden tomar la forma de 'must-link' (dos ítems deben co-ocurrir en el consecuente con una clase objetivo), 'cannot-link' (ciertas combinaciones se excluyen) o filtros de etiquetas de clase que restringen qué reglas involucran un resultado objetivo. Esto reduce drásticamente el número de reglas espurias o redundantes.

4

Se generan reglas válidas X implica Y a partir de los conjuntos de ítems frecuentes supervivientes, filtradas por un umbral de confianza mínimo. La confianza mide la probabilidad condicional de que Y aparezca dado X. En un entorno semi-supervisado, las reglas cuyo consecuente se alinea con una clase etiquetada o restricción se priorizan o ponderan más.

Fórmula
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}
5

Las reglas descubiertas se pueden utilizar de forma iterativa para asignar pseudo-etiquetas a transacciones previamente no etiquetadas, que luego se retroalimentan en rondas de minería posteriores. Este bucle de auto-entrenamiento enriquece gradualmente el grupo de etiquetas y agudiza el conjunto de reglas, convergiendo cuando no se encuentran nuevas reglas de alta confianza o se alcanza un límite de iteración predefinido.

Errores comunes

  • Establecer un soporte mínimo demasiado bajo sin restricciones, inundando el resultado con reglas trivialmente frecuentes pero poco informativas.
  • Ignorar el desequilibrio de clases en el conjunto de semillas etiquetadas, lo que hace que el filtro de restricciones represente en exceso la clase mayoritaria en las reglas descubiertas.
  • Tratar la confianza como la única medida de interés y pasar por alto reglas con alto lift o convicción que son más útiles en la práctica.
  • Omitir una evaluación separada de la calidad predictiva de las reglas y aceptar las reglas minadas tal cual sin validación en datos no vistos.
  • Confundir asociación (co-ocurrencia) con causalidad al informar los hallazgos.

Preguntas frecuentes

¿En qué se diferencia esto de la minería de reglas de asociación estándar?

La minería de reglas de asociación estándar es totalmente no supervisada: encuentra todos los patrones de co-ocurrencia por encima de un umbral de soporte y confianza sin concepto de una clase objetivo. Las reglas de asociación semi-supervisadas incorporan información parcial de etiquetas o restricciones de dominio para filtrar y priorizar reglas que son relevantes para un resultado específico, produciendo un conjunto de resultados más pequeño y procesable.

¿Cuántos datos etiquetados se necesitan?

Incluso un pequeño conjunto etiquetado puede proporcionar restricciones útiles, pero la calidad de las semillas importa más que la cantidad. En la práctica, se recomienda tener al menos unas pocas docenas de ejemplos etiquetados por clase para evitar restricciones severamente sesgadas. Si las etiquetas son extremadamente escasas, los resultados deben validarse cuidadosamente en un subconjunto etiquetado separado.

¿Qué umbrales debo establecer para soporte y confianza?

No hay una respuesta universal: los umbrales dependen del tamaño del conjunto de datos, el dominio y cuántas reglas se pueden evaluar de manera realista. Comience con umbrales moderados (por ejemplo, soporte 0.05–0.10, confianza 0.60–0.80), examine el número de reglas resultantes y ajuste. Cuando las restricciones están activas, a menudo puede permitirse umbrales de soporte ligeramente más bajos porque las reglas irrelevantes se filtran por las condiciones de la etiqueta.

¿Puede este método manejar características continuas o numéricas?

La minería de reglas de asociación opera de forma nativa sobre ítems discretos. Las características continuas deben discretizarse en intervalos antes de la minería. La elección de la estrategia de discretización afecta qué conjuntos de ítems se vuelven frecuentes, por lo que vale la pena experimentar con la discretización de ancho igual, frecuencia igual y basada en dominio, y verificar qué tan sensibles son los resultados a la elección.

¿Cómo evalúo la calidad de las reglas descubiertas?

Más allá del soporte y la confianza, evalúe las reglas utilizando lift (valores superiores a 1 indican co-ocurrencia genuina más allá del azar), convicción y leverage. Si las reglas se utilizan para la predicción, mida la precisión de la clasificación, F1 o AUC en un conjunto etiquetado separado. Las medidas de interés por sí solas no son suficientes para evaluar la utilidad práctica.

Métodos relacionados

Fuentes

  1. Liu, B., Hsu, W., & Ma, Y. (2003). Integrating Classification and Association Rule Mining. In Proceedings of the 4th IEEE International Conference on Data Mining (ICDM), pp. 339–346.

    Abrir referencia de la publicación
    Copiado.
  2. Association rule learning. Wikipedia.

    Abrir referencia de la publicación
    Copiado.