Zum Inhalt springen
Zurück zu den Suchergebnissen

Halbüberwachte Assoziationsregeln

Eingeführt von
Liu, B.; Hsu, W.; Ma, Y. (and subsequent researchers)
Jahr
2003–2010s
Typ
Pattern mining with partial supervision
Familie
Machine learning

Dieser Text ist eine maschinelle Übersetzung und wurde noch nicht geprüft. Original auf Englisch lesen

Schriftgröße

Was leistet sie?

Halbüberwachtes Assoziationsregel-Mining erweitert das klassische Assoziationsregel-Lernen durch die Integration einer kleinen Menge beschrifteter Daten neben einem größeren unbeschrifteten Datensatz.

Es nutzt bekannte Klasseninformationen, um Einschränkungen zu generieren, die die Suche auf relevante Muster lenken.

Die Intuition hinter der Methode

Standard-Assoziationsregel-Mining findet alle häufigen Co-Occurrence-Muster ohne Verständnis dafür, was wichtig ist. Halbüberwachte Assoziationsregeln ändern dies, indem eine kleine Menge beschrifteter Beispiele oder Nutzer-definierter Einschränkungen die Kandidaten-Generierung filtert.

Geschichte

Assoziationsregel-Mining wurde 1993 von Agrawal, Imielinski und Swami mit der Einführung des Apriori-Algorithmus formalisiert, der das unüberwachte Entdecken häufiger Itemsets in Marktkorb-Analysen anstrebte.

Wann wird sie eingesetzt?

Nutze halbüberwachtes Assoziationsregel-Mining, wenn du einen großen Transaktions- oder Tabellendatensatz hast, von dem nur ein Bruchteil Klassenbezeichnungen oder Domain-Annotationen trägt, und du Co-Occurrence-Muster mit hohem Vertrauen entdecken musst.

Grenzen und Hinweise

  • Die Regelqualität hängt stark von der Qualität und Repräsentativität des beschrifteten Seed-Sets ab; ein verzerrtes beschriftetes Subset propagiert Verzerrung in entdeckte Regeln.
  • Die Kombination von Support-, Vertrauens- und Einschränkungs-Schwellwerten schafft einen großen Hyperparameter-Raum, der ohne beschriftete Validierungsdaten schwer zu justieren ist.
  • Rechenaufwand skaliert mit der Anzahl der Kandidaten-Itemsets; Datensätze mit sehr hochdimensionalen Item-Räumen erfordern aggressive Reduktions-Strategien.
  • Selbsttrainings-Schleifen können frühe Fehler verstärken, wenn die anfänglichen Pseudo-Labels verrauscht sind, was zu Regel-Drift über Iterationen hinweg führt.

Die Bedingungen der Quelle ersetzen weder eine unabhängige wissenschaftliche Prüfung noch die Validierung durch eine Analyse-Engine.

Stärken

  • Nutzt reichlich vorhandene unbeschriftete Daten, um Muster zu finden, die statistisch mit nur beschrifteten Daten unsichtbar wären.
  • Aus Labels abgeleitete Einschränkungen reduzieren irrelevante Regeln und ergeben einen kleineren, praktikableren Regelsatz als reines unüberwachtes Mining.
  • Regeln bleiben verständliche IF-THEN-Aussagen und bewahren den Interpretierungsvorteil des klassischen Assoziationsregel-Lernens.
  • Selbsttrainings-Verfeinerung kann iterativ sowohl Regelqualität als auch Pseudo-Label-Abdeckung ohne zusätzliche Beschriftungskosten verbessern.
  • Flexibel: Einschränkungen können Domain-Wissen jenseits einfacher Klassenbezeichnungen kodieren (z. B. zeitliche Ordnung, Item-Hierarchien).

Anwendungen

  • Medical Record Mining, wo nur eine Teilmenge von Patientenakten bestätigte Diagnosen trägt.
  • Marktkorb-Analyse geleitet durch eine bekannte Teilmenge hochpreisiger Kaufergebnisse.
  • Educational Data Mining, um Lernverhaltensmuster zu entdecken, die mit einer kleinen Menge beschrifteter Schülerzweistoff-Ergebnisse verbunden sind.
  • Text Mining und Dokumentenkategorisierung mit knappen beschrifteten Korpora.
  • Eindringlingserkennung, wo nur ein Bruchteil von Netzwerkereignissen bestätigte Angriffe sind.
  • Empfehlungssysteme, die spärliche Nutzerbenotungen verwenden, um Item-Co-Occurrence-Regeln zu begrenzen.

So funktioniert es

So funktioniert es

1

Der Datensatz wird in einen kleinen beschrifteten Teil (mit bekannten Klassenbezeichnungen oder nutzerspezifizierten Einschränkungen) und einen größeren unbeschrifteten Teil aufgeteilt. Beschriftete Beispiele dienen als Seeds oder Anker, die das Ziel definieren, das bei der Regel-Extraktion zu verfolgen ist.

2

Die Enumeration häufiger Itemsets läuft über beschriftete und unbeschriftete Daten hinweg mit klassischen Algorithmen wie Apriori oder FP-Growth, die Support als den Anteil der Transaktionen berechnen, die ein bestimmtes Itemset enthalten.

Formel
\text{support}(X) = \frac{|\{t \in D : X \subseteq t\}|}{|D|} \geq \text{min\_sup}
3

Von Labels abgeleitete oder nutzerspezifizierte Einschränkungen werden angewendet, um den Kandidatenraum zu reduzieren. Einschränkungen können die Form von Must-Link (zwei Elemente sollten im Consequent mit einer Zielklasse zusammen auftreten) oder Cannot-Link (bestimmte Elementkombinationen sind kontraindiziert) annehmen.

4

Gültige Regeln X → Y werden aus den verbleibenden häufigen Itemsets generiert und durch einen Mindestvertrauens-Schwellwert gefiltert. Vertrauen misst die bedingte Wahrscheinlichkeit, dass Y gegeben X auftritt. In einem halbüberwachten Kontext wird dies zudem durch Label-Constraints justiert.

Formel
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}
5

Entdeckte Regeln können iterativ verwendet werden, um zuvor unbeschrifteten Transaktionen Pseudo-Labels zuzuweisen, die dann in nachfolgende Mining-Runden zurückgeführt werden. Diese Selbsttrainings-Schleife reichert graduell sowohl die Regelabdeckung als auch die Pseudo-Label-Qualität an.

Häufige Fallstricke

  • Minimalen Support ohne Einschränkungen zu niedrig setzen und das Ergebnis mit trivial häufigen, aber uninformativen Regeln überschwemmen.
  • Klassenunausgewogenheit im beschrifteten Seed-Set ignorieren, was dazu führt, dass der Einschränkungs-Filter die Mehrheitsklasse in entdeckten Regeln überrepräsentiert.
  • Vertrauen als einzige Interessantheitsmessung behandeln und Regeln mit hohem Lift oder Conviction verpassen, die praktischer nützlich sind.
  • Eine gehaltene Bewertung der Regel-Vorhersagqualität überspringen und erstellte Regeln ohne Validierung auf unsichtbaren Daten akzeptieren.
  • Assoziation (Co-Occurrence) mit Kausalität verwechseln, wenn Ergebnisse mitgeteilt werden.

Häufig gestellte Fragen

Wie unterscheidet sich dies von standardmäßigem Assoziationsregel-Mining?

Standard-Assoziationsregel-Mining ist vollständig unüberwacht: es findet alle Co-Occurrence-Muster über einem Support- und Vertrauens-Schwellwert ohne Konzept einer Zielklasse. Halbüberwachtes Assoziationsregel-Mining nutzt eine kleine Menge beschrifteter Transaktionen, um Constraints zu definieren, die relevante Regeln von rauschen trennen.

Wie viele beschriftete Daten sind erforderlich?

Auch eine kleine beschriftete Menge kann nützliche Einschränkungen bieten, aber die Qualität der Seeds ist wichtiger als die Menge. In der Praxis ist es ratsam, mindestens mehrere Dutzend beschriftete Beispiele pro Klasse zu haben, um Verzerrung zu vermeiden.

Welche Schwellwerte sollte ich für Support und Vertrauen setzen?

Es gibt keine universelle Antwort: Schwellwerte hängen von der Datensatzgröße, der Domain und davon ab, wie viele Regeln man realistisch bewerten kann. Beginne mit moderaten Schwellwerten (z. B. Support 0,05–0,10, Vertrauen 0,60–0,80) und passe an, um gewünschte Regel-Anzahl und Interpretierbarkeit zu erreichen.

Kann diese Methode kontinuierliche oder numerische Features bearbeiten?

Assoziationsregel-Mining arbeitet nativ auf diskreten Elementen. Kontinuierliche Features müssen vor dem Mining in Behälter diskretisiert werden. Die Wahl der Binning-Strategie beeinflusst, welche Itemsets häufig werden, also experimentiere mit verschiedenen Diskretisierungsgrenzen.

Wie bewerte ich die Qualität entdeckter Regeln?

Neben Support und Vertrauen bewertete Regeln mit Lift (Werte über 1 deuten auf echte Co-Occurrence jenseits des Zufalls hin), Conviction und Leverage. Wenn Regeln für Vorhersagen verwendet werden, messe Klassifizierungs-Genauigkeit, Precision und Recall auf einem gehaltenen Testset.

Verwandte Methoden

Quellen

  1. Liu, B., Hsu, W., & Ma, Y. (2003). Integrating Classification and Association Rule Mining. In Proceedings of the 4th IEEE International Conference on Data Mining (ICDM), pp. 339–346.

    Publikationsreferenz öffnen
    Kopiert.
  2. Association rule learning. Wikipedia.

    Publikationsreferenz öffnen
    Kopiert.