Przejdź do treści
Wróć do wyników wyszukiwania

Grupowanie dokumentów

Typ
Unsupervised text-mining task

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Grupowanie dokumentów (ang. document clustering) to zadanie eksploracji tekstu bez nadzoru, które łączy dokumenty o podobnej treści bez użycia etykiet.

Służy do organizowania dużych zbiorów i do analizy eksploracyjnej, czerpiąc z technik eksploracji tekstu skonsolidowanych przez Aggarwala i Zhaia (2012) oraz porównanych empirycznie przez Steinbacha, Karypisa i Kumara (2000).

Intuicja stojąca za metodą

Kiedy stajesz przed dużą stertą dokumentów, a nikt ich nie otagował, nadal chcesz wiedzieć, które z nich należą do siebie. Grupowanie dokumentów robi dokładnie to: mierzy, jak podobne są dokumenty na podstawie ich sformułowań, i pozwala podobnym dokumentom znaleźć się w tej samej grupie, tak że struktura w zbiorze wyłania się samoistnie, zamiast być narzucana przez z góry zdefiniowane kategorie.

Historia

Grupowanie dokumentów mieści się w szerszej dziedzinie eksploracji tekstu, omówionej w pracy Aggarwala i Zhaia „Mining Text Data” (2012). Porównawcze prace Steinbacha, Karypisa i Kumara (2000) badały, jak działają różne techniki grupowania dokumentów, pomagając ustalić, które rodziny metod są odpowiednie dla zbiorów tekstowych.

Kiedy stosować

Użyj grupowania dokumentów, gdy masz zbiór dokumentów tekstowych, ale bez etykiet, i chcesz go uporządkować lub zbadać jego strukturę. Tekst musi najpierw zostać zwektoryzowany, a Ty musisz zdecydować o liczbie klastrów lub progu odległości. Wymaga to rozsądnego korpusu — co najmniej około 30 dokumentów, a staje się niezawodne powyżej około 100; przy mniejszej liczbie dokumentów bezpieczniejszym wyborem jest ręczna analiza tematyczna. Jeśli w ogóle nie ma danych tekstowych, grupowanie dokumentów nie może być zastosowane.

Ograniczenia i uwagi

  • Wyniki są zawodne w przypadku małych korpusów; poniżej około 100 dokumentów klastry nie są wiarygodne.
  • Wymaga wcześniejszej wektoryzacji tekstu oraz wcześniejszego ustalenia liczby klastrów lub progu odległości.
  • Nie może być w ogóle zastosowane, gdy nie ma danych tekstowych.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Bez nadzoru — nie wymaga danych etykietowanych, więc działa na surowych zbiorach, których nikt nie opisał.
  • Ujawnia ukrytą strukturę w korpusie, dzięki czemu doskonale nadaje się do organizowania zbiorów i analizy eksploracyjnej.
  • Skalowalne do dużych zbiorów dokumentów, których ręczne sortowanie byłoby niepraktyczne.

Zastosowania

  • Organizowanie dużych zbiorów dokumentów w spójne grupy dla łatwiejszej nawigacji.
  • Eksploracyjna analiza nieetykietowanego korpusu w celu odkrycia obecnych tematów.
  • Grupowanie podobnych raportów, artykułów lub rekordów w operacjach i badaniach przed głębszą analizą.
  • Wstępne strukturyzowanie zbioru przed etykietowaniem lub późniejszą klasyfikacją.

Jak to działa

Jak to działa

1

Każdy dokument jest najpierw przekształcany w reprezentację numeryczną poprzez wektoryzację tekstu — na przykład wektor TF-IDF — tak aby sformułowanie stało się czymś, co miara odległości może porównać. Bez tego kroku algorytm grupowania nie miałby na czym operować.

2

Przed grupowaniem analityk ustala, w jaki sposób zostaną utworzone klastry: albo docelową liczbę klastrów, albo próg odległości, który decyduje, kiedy dokumenty są wystarczająco blisko, aby współdzielić grupę. Ten wybór kształtuje, ile grup się wyłoni i jak bardzo będą one spójne.

3

Algorytm grupowania przypisuje każdy dokument do grupy w taki sposób, aby dokumenty wewnątrz grupy były bardziej podobne do siebie nawzajem niż do dokumentów w innych grupach. Nie ma tu etykiet, które by to kierowały — grupowanie jest całkowicie napędzane podobieństwem w przestrzeni wektorowej.

4

Powstałe grupy są badane i charakteryzowane: analityk czyta reprezentatywne dokumenty i często występujące terminy w każdym klastrze, aby zrozumieć, jaki temat on obejmuje, organizując zbiór lub wykorzystując wyniki w analizie eksploracyjnej.

Częste pułapki

  • Uruchomienie go na zbyt małej liczbie dokumentów (poniżej ~100) daje niestabilne, niewiarygodne klastry — zamiast tego należy wrócić do ręcznej analizy tematycznej.
  • Nieostrożny wybór liczby klastrów lub progu odległości narzuca arbitralną strukturę na dane; konfiguracja powinna być przemyślana, a nie zgadywana.
  • Pomijanie lub słaba wektoryzacja pozostawia algorytm ze słabym sygnałem, więc grupy odzwierciedlają szum, a nie treść.
  • Stosowanie go tam, gdzie nie ma prawdziwych danych tekstowych — odpowiednią alternatywą jest ogólna analiza treści.

Najczęściej zadawane pytania

Czym różni się grupowanie dokumentów od klasyfikacji tekstu?

Klasyfikacja jest nadzorowana — przypisuje dokumenty do z góry zdefiniowanych kategorii, nauczonych na podstawie etykietowanych przykładów. Grupowanie jest bez nadzoru: nie ma etykiet ani z góry zdefiniowanych kategorii. Grupy wyłaniają się wyłącznie z podobieństwa dokumentów do siebie nawzajem.

Ile dokumentów potrzebuję?

Minimalna liczba to około 30 dokumentów, ale grupowanie staje się niezawodne dopiero powyżej około 100. Przy mniej niż około 100 klastry są niestabilne, a bezpieczniejszym wyborem jest ręczna analiza tematyczna.

Czy muszę z góry określić liczbę klastrów?

Musisz ustawić albo docelową liczbę klastrów, albo próg odległości, który decyduje, kiedy dokumenty są wystarczająco blisko, aby współdzielić grupę. Jeden z tych wyborów konfiguracyjnych jest wymagany przed uruchomieniem kroku grupowania.

Co jeśli moje dokumenty nie są jeszcze w formie numerycznej?

Muszą zostać najpierw zwektoryzowane — na przykład w wektory TF-IDF — tak aby miara odległości mogła je porównać. Wektoryzacja to pierwszy etap potoku; algorytm grupowania operuje na tych wektorach, a nie na surowym tekście.

Pokrewne metody

Źródła

  1. Aggarwal, C. C. & Zhai, C. (2012). Mining Text Data. Springer.

    ISBN: 9781461432227
    Skopiowano.
  2. Steinbach, M., Karypis, G. & Kumar, V. (2000). A Comparison of Document Clustering Techniques. KDD Workshop on Text Mining.

    Otwórz odnośnik do publikacji
    Skopiowano.