Reguły asocjacyjne częściowo nadzorowane
- Autor metody
- Liu, B.; Hsu, W.; Ma, Y. (and subsequent researchers)
- Rok
- 2003–2010s
- Typ
- Pattern mining with partial supervision
- Rodzina
- Machine learning
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Eksploracja częściowo nadzorowanych reguł asocjacyjnych rozszerza klasyczne uczenie reguł asocjacyjnych poprzez włączenie niewielkiej ilości danych oznakowanych wraz z większym, nieoznakowanym zbiorem danych.
Wykorzystuje ona znane informacje o klasach lub ograniczenia dostarczone przez użytkownika do kierowania odkrywaniem reguł, które są zarówno statystycznie częste, jak i semantycznie znaczące, łącząc eksplorację wzorców nienadzorowanych z lekkim nadzorem.
Intuicja stojąca za metodą
Standardowa eksploracja reguł asocjacyjnych znajduje wszystkie częste wzorce współwystępowania bez żadnego poczucia tego, co jest istotne. Częściowo nadzorowane reguły asocjacyjne zmieniają to, pozwalając niewielkiemu zbiorowi oznakowanych przykładów lub ograniczeń dziedzinowych kierować poszukiwaniami: reguły zgodne ze znaną strukturą klas są preferowane nad statystycznie częstymi, ale bezsensownymi. Można to sobie wyobrazić jako dostarczenie algorytmowi kilku wskazówek dotyczących tego, na czym zależy analitykowi, tak aby przestał on ujawniać trywialne lub już znane wzorce, a zamiast tego podkreślał prawdziwie nowe, użyteczne relacje. Wynik łączy szeroki zakres nienadzorowanego odkrywania wzorców z wystarczającą ilością wskazówek, aby wyniki były trafne.
Historia
Eksploracja reguł asocjacyjnych została sformalizowana przez Agrawala, Imielinskiego i Swamiego w 1993 roku wraz z wprowadzeniem algorytmu Apriori, mającego na celu nienadzorowane odkrywanie częstych zbiorów elementów w danych koszyka zakupów. Integracja etykiet klas i ograniczeń z eksploracją reguł asocjacyjnych nabrała tempa na początku XXI wieku, zwłaszcza dzięki ramom CMAR i CBA Liu i współpracowników, które traktowały etykiety klas jako następniki reguł. Rozszerzenia częściowo nadzorowane pojawiły się, gdy badacze zdali sobie sprawę, że częściowy nadzór może zmniejszyć kombinatoryczną eksplozję reguł kandydujących, jednocześnie utrzymując statystyczny wkład nieoznakowanych danych. Podejście to pojawia się obecnie w bioinformatyce, eksploracji danych edukacyjnych i systemach rekomendacyjnych.
Kiedy stosować
Użyj częściowo nadzorowanej eksploracji reguł asocjacyjnych, gdy masz duży zbiór danych transakcyjnych lub tabelarycznych, z których tylko część zawiera etykiety klas lub adnotacje dziedzinowe, i musisz odkryć wzorce współwystępowania, które są prawdziwie istotne dla pojęcia docelowego, a nie tylko częste. Jest to dobrze dopasowane do analizy koszyka zakupów z pewnymi znanymi wynikami zakupów, eksploracji danych medycznych, gdzie tylko podzbiór przypadków ma potwierdzone diagnozy, oraz kategoryzacji tekstu, gdzie oznakowane dokumenty są rzadkie. Unikaj jej, gdy oznakowana część jest znikomo mała (mniej niż kilkadziesiąt oznakowanych instancji), gdy pełny nadzór jest wykonalny, lub gdy wymagania dotyczące interpretowalności wymagają prostszego modelu, takiego jak regresja logistyczna lub drzewo decyzyjne.
Ograniczenia i uwagi
- Jakość reguł w dużej mierze zależy od jakości i reprezentatywności oznakowanego zbioru początkowego; stronniczy podzbiór oznakowany propaguje stronniczość do odkrytych reguł.
- Połączenie progów wsparcia, ufności i ograniczeń tworzy dużą przestrzeń hiperparametrów, którą trudno jest dostroić bez oznakowanych danych walidacyjnych.
- Koszt obliczeniowy skaluje się wraz z liczbą kandydatów na zbiory elementów; zbiory danych z bardzo wysokowymiarowymi przestrzeniami elementów wymagają agresywnych strategii przycinania.
- Pętle samouczenia mogą wzmacniać wczesne błędy, jeśli początkowe pseudoetykiety są zaszumione, prowadząc do dryfu reguł w kolejnych iteracjach.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Wykorzystuje obfite, nieoznakowane dane do znajdowania wzorców, które byłyby statystycznie niewidoczne przy użyciu samych danych oznakowanych.
- Ograniczenia pochodzące z etykiet eliminują nieistotne reguły, dając mniejszy, bardziej użyteczny zestaw reguł niż czysto nienadzorowana eksploracja.
- Reguły pozostają czytelnymi dla człowieka instrukcjami TYP-JEŻELI-TO, zachowując zaletę interpretowalności klasycznego uczenia reguł asocjacyjnych.
- Udoskonalenie poprzez samouczenie może iteracyjnie poprawiać zarówno jakość reguł, jak i zasięg pseudoetykiet bez dodatkowych kosztów etykietowania.
- Elastyczność: ograniczenia mogą kodować wiedzę dziedzinową wykraczającą poza proste etykiety klas (np. porządek czasowy, hierarchie elementów).
Zastosowania
- Eksploracja danych medycznych, gdzie tylko podzbiór rekordów pacjentów zawiera potwierdzone diagnozy.
- Analiza koszyka zakupów kierowana przez znany podzbiór wyników zakupów o wysokiej wartości.
- Eksploracja danych edukacyjnych w celu odkrycia wzorców zachowań edukacyjnych związanych z małym zbiorem oznakowanych wyników osiągnięć uczniów.
- Eksploracja tekstu i kategoryzacja dokumentów z rzadkimi korpusami oznakowanymi.
- Wykrywanie intruzów, gdzie tylko część zdarzeń sieciowych to potwierdzone ataki.
- Systemy rekomendacyjne, które wykorzystują rzadkie oceny użytkowników do ograniczania reguł współwystępowania elementów.
Jak to działa
Jak to działa
Zbiór danych jest dzielony na małą, oznakowaną część (z znanymi etykietami klas lub ograniczeniami określonymi przez użytkownika) oraz większą, nieoznakowaną część. Oznakowane przykłady służą jako ziarna lub kotwice, które definiują przestrzeń pojęć docelowych, podczas gdy nieoznakowane transakcje dostarczają masy statystycznej potrzebnej do obliczenia wiarygodnych wartości wsparcia.
Wyliczanie częstych zbiorów elementów odbywa się na danych oznakowanych i nieoznakowanych przy użyciu klasycznych algorytmów, takich jak Apriori lub FP-Growth, obliczając wsparcie jako ułamek transakcji zawierających dany zbiór elementów. Tylko zbiory elementów przekraczające minimalny próg wsparcia są zachowywane jako kandydaci do generowania reguł.
Wzór
\text{support}(X) = \frac{|\{t \in D : X \subseteq t\}|}{|D|} \geq \text{min\_sup}Ograniczenia pochodzące z etykiet lub określone przez użytkownika są stosowane do przycinania przestrzeni kandydatów. Ograniczenia mogą przyjmować formę must-link (dwa elementy powinny współwystępować w następniku z klasą docelową), cannot-link (pewne kombinacje są wykluczone) lub filtrów etykiet klas, które ograniczają, które reguły dotyczą wyniku docelowego. Drastycznie zmniejsza to liczbę fałszywych lub redundantnych reguł.
Prawidłowe reguły X implikuje Y są generowane z zachowanych częstych zbiorów elementów, filtrowane przez minimalny próg ufności. Ufność mierzy prawdopodobieństwo warunkowe, że Y pojawi się, jeśli wystąpi X. W ustawieniu częściowo nadzorowanym, reguły, których następnik jest zgodny z oznakowaną klasą lub ograniczeniem, są priorytetyzowane lub ważone wyżej.
Wzór
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}Odkryte reguły mogą być iteracyjnie wykorzystywane do przypisywania pseudoetykiet do wcześniej nieoznakowanych transakcji, które następnie są ponownie wprowadzane do kolejnych rund eksploracji. Ta pętla samouczenia stopniowo wzbogaca pulę oznakowanych danych i wyostrza zestaw reguł, konwergując, gdy nie zostaną znalezione żadne nowe reguły o wysokiej ufności lub zostanie osiągnięty zdefiniowany limit iteracji.
Częste pułapki
- Ustawienie zbyt niskiego minimalnego wsparcia bez ograniczeń, zalewając wynik trywialnie częstymi, ale nieinformatywnymi regułami.
- Ignorowanie braku równowagi klas w oznakowanym zbiorze początkowym, co powoduje, że filtr ograniczeń nadmiernie reprezentuje klasę większościową w odkrytych regułach.
- Traktowanie ufności jako jedynej miary interesowności i pomijanie reguł o wysokim wskaźniku lift lub conviction, które są bardziej praktycznie użyteczne.
- Pominięcie oceny predykcyjnej jakości reguł na zbiorze testowym i akceptowanie odkrytych reguł bez walidacji na niewidzianych danych.
- Mylenie asocjacji (współwystępowania) z przyczynowością podczas raportowania wyników.
Najczęściej zadawane pytania
Czym różni się to od standardowej eksploracji reguł asocjacyjnych?
Standardowa eksploracja reguł asocjacyjnych jest w pełni nienadzorowana: znajduje wszystkie wzorce współwystępowania powyżej progu wsparcia i ufności bez pojęcia klasy docelowej. Częściowo nadzorowane reguły asocjacyjne włączają częściowe informacje o etykietach lub ograniczenia dziedzinowe w celu filtrowania i priorytetyzowania reguł, które są istotne dla konkretnego wyniku, dając mniejszy i bardziej użyteczny zestaw wyników.
Ile oznakowanych danych jest potrzebnych?
Nawet mały oznakowany zbiór może dostarczyć użytecznych ograniczeń, ale jakość ziaren ma większe znaczenie niż ilość. W praktyce, posiadanie co najmniej kilkudziesięciu oznakowanych przykładów na klasę jest wskazane, aby uniknąć poważnie stronniczych ograniczeń. Jeśli etykiety są niezwykle rzadkie, wyniki należy dokładnie zweryfikować na wydzielonym, oznakowanym podzbiorze.
Jakie progi powinienem ustawić dla wsparcia i ufności?
Nie ma uniwersalnej odpowiedzi: progi zależą od rozmiaru zbioru danych, dziedziny i tego, ile reguł można realistycznie ocenić. Zacznij od umiarkowanych progów (np. wsparcie 0.05–0.10, ufność 0.60–0.80), zbadaj wynikową liczbę reguł i dostosuj. Gdy ograniczenia są aktywne, często można sobie pozwolić na nieco niższe progi wsparcia, ponieważ nieistotne reguły są filtrowane przez warunki etykiet.
Czy ta metoda może obsługiwać cechy ciągłe lub numeryczne?
Eksploracja reguł asocjacyjnych natywnie działa na elementach dyskretnych. Cechy ciągłe muszą zostać zdyskretyzowane na przedziały przed eksploracją. Wybór strategii dyskretyzacji wpływa na to, które zbiory elementów stają się częste, dlatego warto eksperymentować z dyskretyzacją o równej szerokości, równej częstości i sterowaną dziedzinowo oraz sprawdzać, jak wrażliwe są wyniki na ten wybór.
Jak ocenić jakość odkrytych reguł?
Oprócz wsparcia i ufności, oceniaj reguły za pomocą lift (wartości powyżej 1 wskazują na prawdziwe współwystępowanie poza przypadkiem), conviction i leverage. Jeśli reguły są używane do przewidywania, zmierz dokładność klasyfikacji, F1 lub AUC na wydzielonym, oznakowanym zbiorze. Same miary interesowności nie są wystarczające do oceny praktycznej użyteczności.
Pokrewne metody
Źródła
Liu, B., Hsu, W., & Ma, Y. (2003). Integrating Classification and Association Rule Mining. In Proceedings of the 4th IEEE International Conference on Data Mining (ICDM), pp. 339–346.
Otwórz odnośnik do publikacjiSkopiowano.Association rule learning. Wikipedia.
Otwórz odnośnik do publikacjiSkopiowano.