Przejdź do treści
Wróć do wyników wyszukiwania

Reguły asocjacyjne uczenia aktywnego

Autor metody
Dzyuba, V. & van Leeuwen, M.; Boley, M. et al.
Rok
2010s
Typ
Interactive pattern mining
Rodzina
Machine learning

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Reguły asocjacyjne uczenia aktywnego łączą iteracyjną pętlę zapytań i etykietowania uczenia aktywnego z wydobywaniem reguł asocjacyjnych, pozwalając ludzkiemu ekspertowi na interaktywne kierowanie procesem odkrywania.

Zamiast wyczerpującego wyliczania wszystkich reguł powyżej ustalonego progu istotności i pewności, system wybiera najbardziej informatywne kandydatury reguł i prosi użytkownika o ocenę ich interesowności, skupiając wyszukiwanie na subiektywnie użytecznych wzorcach.

Intuicja stojąca za metodą

Standardowe wydobywanie reguł asocjacyjnych zalewa użytkownika tysiącami reguł powyżej minimalnego progu istotności, z których większość jest zbędna lub nieistotna. Uczenie aktywne odwraca tę sytuację: algorytm prezentuje ekspertowi tylko najbardziej niepewne lub zaskakujące kandydatury reguł, zbiera informacje zwrotne na temat tego, czy dana reguła jest interesująca, i po każdym zapytaniu aktualizuje swój model preferencji użytkownika. W kolejnych rundach uczy się odróżniać reguły, na których zależy analitykowi, od szumu, drastycznie zawężając przestrzeń poszukiwań i znacznie wydajniej niż wyczerpujące wyliczanie ujawniając użyteczne wzorce.

Historia

Reguły asocjacyjne uczenia aktywnego pojawiły się w latach 2010. jako odpowiedź na dobrze znany problem eksplozji reguł w wydobywaniu reguł asocjacyjnych. Prace Boley'a i współpracowników nad bezpośrednim próbkowaniem wzorców (2013) oraz Dzyuby i van Leeuwen nad subiektywną interesownością (2017) ustanowiły formalne ramy do zadawania pytań o preferencje użytkownika w celu kierowania odkrywaniem reguł. Podejście to czerpie z wcześniejszych badań nad interaktywnym wydobywaniem danych i łączy się z szerszą literaturą na temat uczenia aktywnego zapoczątkowaną przez Cohna, Atlase i Ladnera (1994).

Kiedy stosować

Używaj reguł asocjacyjnych uczenia aktywnego, gdy baza danych transakcyjnych jest duża, liczba reguł powyżej progu jest niezarządzalna (tysiące do milionów), a ekspert dziedzinowy jest dostępny do zapewnienia iteracyjnej informacji zwrotnej podczas sesji wydobywania. Jest to szczególnie cenne w kontekstach odkrywania wiedzy – informatyce klinicznej, analizie koszyków zakupowych w handlu detalicznym lub generowaniu hipotez naukowych – gdzie subiektywna trafność ma równie duże znaczenie, co istotność statystyczna. Nie używaj go, gdy nie ma interaktywnego eksperta, gdy pełny zestaw reguł jest potrzebny do dalszej automatyzacji, lub gdy baza danych transakcyjnych jest tak mała, że wyczerpujące wyliczanie jest trywialne.

Ograniczenia i uwagi

  • Wymaga interaktywnego ludzkiego eksperta przez całą sesję, co jest niepraktyczne w przypadku w pełni zautomatyzowanych potoków.
  • Jakość wyników zależy w dużej mierze od spójności i wiedzy dziedzinowej eksperta etykietującego.
  • Problem zimnego startu: model preferencji jest nieinformatywny na początku, więc początkowe zapytania mogą nie być dobrze ukierunkowane.
  • Podejście jest mniej ugruntowane niż wydobywanie reguł asocjacyjnych w trybie wsadowym, z mniejszą liczbą gotowych implementacji.
  • Ocena jest z natury subiektywna i trudniejsza do porównania niż metody czysto statystyczne.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Dramatycznie zmniejsza liczbę reguł, które użytkownik musi przeanalizować, skupiając wyszukiwanie na subiektywnie interesujących wzorcach.
  • Dostosowuje się do indywidualnych preferencji analityka, zamiast narzucać uniwersalną miarę interesowności.
  • Dobrze łączy się z każdym podstawowym algorytmem wydobywania reguł (Apriori, FP-growth, próbkowanie losowe) jako etap generowania kandydatów.
  • Obsługuje iteracyjną eksplorację bez konieczności wcześniejszego określania przez użytkownika progów istotności i pewności.
  • Skaluje się do dużych przestrzeni reguł, które w przeciwnym razie przytłoczyłyby analityka.

Zastosowania

  • Informatyka kliniczna: odkrywanie współwystępowania zdarzeń niepożądanych leków, które farmakolog uzna za klinicznie prawdopodobne.
  • Analiza koszyków zakupowych w handlu detalicznym: ujawnianie możliwości sprzedaży krzyżowej, które menedżer kategorii uzna za użyteczne.
  • Generowanie hipotez naukowych: identyfikowanie wzorców współwystępowania w zbiorach danych genomiki lub nauk społecznych, które odpowiadają intuicji eksperta.
  • Wykrywanie oszustw: interaktywne wydobywanie wzorców transakcji oznaczonych jako podejrzane przez analityka ds. oszustw.
  • Systemy rekomendacyjne: uczenie się specyficznych dla użytkownika reguł współwystępowania elementów w celu personalizacji rekomendacji.

Jak to działa

Jak to działa

1

Generowana jest początkowa pula kandydackich reguł asocjacyjnych – albo wyczerpująco (np. za pomocą algorytmu Apriori lub FP-growth do luźnego progu), albo przez próbkowanie. Pula ta może być ogromna w bazach danych transakcyjnych o wysokiej wymiarowości, dlatego komponent uczenia aktywnego ma kluczowe znaczenie dla obliczeniowej wykonalności.

2

System wybiera najbardziej informatywną kandydacką regułę do przedstawienia użytkownikowi, zazwyczaj używając funkcji akwizycji, takiej jak próbkowanie niepewności, oczekiwana zmiana modelu lub subiektywne wyniki interesowności. Użytkownik oznacza regułę jako interesującą lub nieinteresującą.

3

Po każdej etykiecie użytkownika system aktualizuje swój wewnętrzny model preferencji użytkownika – zazwyczaj model bayesowski lub liniowy, który określa, które cechy reguły (istotność, pewność, lift, tożsamość elementu) użytkownik uważa za atrakcyjne – i odpowiednio przelicza pozostałe kandydatury.

4

Wykorzystując zaktualizowany model preferencji, wszystkie pozostałe kandydatury reguł są przeliczane. Reguły z wysokimi wynikami są priorytetyzowane do prezentacji w kolejnych rundach, a zdominowane lub prawie zduplikowane reguły są usuwane, aby uniknąć wielokrotnego pokazywania podobnych wzorców.

5

Pętla trwa do momentu, gdy użytkownik jest usatysfakcjonowany, wyczerpany zostanie ustalony budżet zapytań, lub oczekiwany zysk z dalszych zapytań spadnie poniżej progu. Wynikiem jest mały, wyselekcjonowany zbiór reguł uszeregowanych według przewidywanego zainteresowania użytkownika.

Częste pułapki

  • Prezentowanie prawie zduplikowanych reguł w kolejnych zapytaniach, powodując zmęczenie użytkownika i szum w etykietach – stosuj ograniczenia różnorodności lub usuwanie redundancji.
  • Ignorowanie problemu zimnego startu poprzez niezapewnienie rozsądnych reguł domyślnych lub krótkiej fazy rozgrzewki przed rozpoczęciem aktywnego zapytania.
  • Traktowanie ostatecznej listy uszeregowanej jako statystycznie zweryfikowanego wyniku bez jednoczesnego raportowania standardowych metryk jakości reguł (istotność, pewność, lift).
  • Mylenie subiektywnego wyniku interesowności z obiektywną istotnością statystyczną, które są odrębnymi wielkościami.

Najczęściej zadawane pytania

Ile zapytań potrzebuje użytkownik do odpowiedzi?

W praktyce badania wskazują, że użyteczne modele preferencji można nauczyć przy zaledwie 20 do 50 zapytaniach, chociaż budżet zależy od różnorodności przestrzeni reguł i spójności eksperta.

Czy to zastępuje standardowe wydobywanie reguł asocjacyjnych?

Nie. Jest to uzupełnienie: standardowe wydobywanie (Apriori, FP-growth) jest zazwyczaj używane do generowania kandydatów, a pętla uczenia aktywnego następnie filtruje i szereguje je zgodnie z preferencjami eksperta. Pełny zestaw reguł jest nadal generowany wewnętrznie.

Co jeśli różni eksperci nie zgadzają się co do interesujących reguł?

Reguły asocjacyjne uczenia aktywnego uczą się jednego modelu preferencji na sesję. Gdy zaangażowanych jest wielu ekspertów, modele preferencji można agregować (np. przez głosowanie większościowe nad etykietami) lub można przeprowadzić oddzielne sesje i połączyć ich najlepiej uszeregowane reguły.

Czym interesowność różni się od pewności lub liftu?

Pewność i lift to obiektywne miary statystyczne, które można obliczyć na podstawie danych. Subiektywna interesowność zależy od użytkownika – reguła może mieć wysoki lift, ale być trywialnie oczywista dla eksperta i tym samym nieinteresująca, lub mieć umiarkowany lift, ale być nowa i użyteczna.

Czy mogę tego użyć bez eksperta etykietującego w czasie rzeczywistym?

Jeśli dostępne są wcześniej zebrane etykiety preferencji (np. z poprzedniej sesji), model preferencji można wytrenować offline i zastosować w trybie wsadowym, chociaż traci się wtedy adaptacyjną korzyść z informacji zwrotnej w czasie rzeczywistym.

Pokrewne metody

Źródła

  1. Dzyuba, V., & van Leeuwen, M. (2017). Interactive Discovery of Interesting Association Rules by Subjective Interestingness. In Proceedings of the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML PKDD). Springer.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Boley, M., Lucchese, C., Paurat, D., & Gartner, T. (2013). Direct Local Pattern Sampling by Efficient Two-Step Random Procedures. In Proceedings of the 19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 582–590). ACM.

    Otwórz odnośnik do publikacji
    Skopiowano.