Przejdź do treści
Wróć do wyników wyszukiwania

Modelowanie tematyczne NMF

Autor metody
Lee & Seung
Rok
1999
Typ
Matrix-factorization topic model

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Modelowanie tematyczne NMF wykorzystuje Niezujemną Faktoryzację Macierzy (ang.

Non-negative Matrix Factorization, NMF) — dekompozycję opartą na częściach, wprowadzoną przez Lee i Seunga (1999) — do ekstrakcji rozkładów dokument-temat z korpusu. Poprzez faktoryzację macierzy dokument-termin na dwie niezujemne macierze, odzyskuje niewielki zestaw tematów i zazwyczaj generuje tematy bardziej interpretowalne niż LDA.

Intuicja stojąca za metodą

Korpus można zapisać jako jedną dużą tabelę, gdzie każdy wiersz to dokument, a każda kolumna to termin. NMF zakłada, że tabela ta jest iloczynem dwóch mniejszych, niezujemnych tabel: jednej, która określa, w jakim stopniu każdy dokument należy do każdego tematu, i drugiej, która określa, jakie terminy składają się na każdy temat. Ponieważ nic nie może być ujemne, tematy mogą się tylko sumować — nie mogą się wzajemnie znosić — więc każdy temat ostatecznie wygląda jak spójny zbiór współwystępujących słów, które czytelnik może nazwać.

Historia

NMF zostało wprowadzone przez Lee i Seunga (1999), którzy pokazali, że uczenie się addytywnej reprezentacji obiektów opartej na częściach prowadzi do interpretowalnych komponentów. Technika ta została później zaadaptowana do tekstu jako model tematyczny, a Arora i in. (2013) przedstawili praktyczny algorytm modelowania tematycznego z udowodnionymi gwarancjami, wzmacniając jego podstawy teoretyczne.

Kiedy stosować

Użyj modelowania tematycznego NMF do eksploracji lub opisu korpusu tekstowego, gdy masz wystarczającą liczbę dokumentów (około 50 lub więcej) i możesz z góry określić liczbę tematów k. Oczekuje danych tekstowych reprezentowanych jako macierz dokument-termin, z preferowaną wektoryzacją TF-IDF. Jest to dobre rozwiązanie, gdy interpretowalne, możliwe do nazwania tematy są ważniejsze niż w pełni probabilistyczny model.

Ograniczenia i uwagi

  • Liczba tematów k musi być wybrana z góry, a nie nauczona z danych.
  • Wymaga wystarczającej liczby dokumentów (około 50 lub więcej) do odzyskania stabilnych tematów.
  • W przeciwieństwie do modelu probabilistycznego, nie dostarcza generatywnego opisu ani zasadniczej niepewności co do tematów.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Generuje bardziej interpretowalne tematy niż LDA dzięki swojej addytywnej faktoryzacji opartej na częściach.
  • Działa naturalnie na macierzach dokument-termin TF-IDF, standardowej reprezentacji tekstu.
  • Koncepcyjnie proste: pojedyncza faktoryzacja macierzy z wyraźnym podziałem na dokument-temat i temat-termin.

Zastosowania

  • Odkrywanie i nazywanie głównych motywów w zbiorze dokumentów.
  • Podsumowywanie dużych korpusów za pomocą ich dominujących tematów do analizy eksploracyjnej.
  • Tagowanie dokumentów rozkładami tematów do dalszego opisu i wyszukiwania.
  • Porównywanie struktury tematów w podzbiorach korpusu.

Jak to działa

Jak to działa

1

Korpus jest przekształcany w macierz dokument-termin, w której każdy dokument staje się wierszem ważonych wyników terminów. Preferowana jest wektoryzacja TF-IDF, ponieważ zmniejsza wagę wszechobecnych słów i podkreśla terminy, które faktycznie wyróżniają dokumenty — dając faktoryzacji czystszy sygnał do pracy.

2

Macierz dokument-termin jest aproksymowana jako iloczyn dwóch niezujemnych macierzy: macierzy dokument-temat i macierzy temat-termin. Wybrana liczba tematów k ustala wewnętrzny wymiar tego iloczynu, a faktoryzacja jest dopasowywana tak, aby rekonstrukcja pozostawała bliska oryginalnej macierzy, zachowując jednocześnie wszystkie wpisy niezujemne.

3

Każdy temat jest odczytywany z macierzy temat-termin poprzez analizę najwyżej ważonych terminów w jego kolumnie. Ponieważ wszystkie wagi są niezujemne i sumują się, te najważniejsze terminy tworzą czytelny motyw, który można nazwać — ta addytywna, oparta na częściach struktura sprawia, że tematy NMF są łatwiejsze do interpretacji niż te z LDA.

4

Każdy dokument jest opisywany przez swój wiersz w macierzy dokument-temat, który określa siłę każdego tematu w tym dokumencie. Te rozkłady mogą być używane do podsumowania korpusu, tagowania dokumentów ich dominującymi tematami lub do dalszego opisu i eksploracji.

Częste pułapki

  • Nieprawidłowe ustawienie k — zbyt mało tematów łączy odrębne motywy, zbyt wiele rozbija je na szum.
  • Pominięcie ważenia TF-IDF pozwala na dominację często występujących słów funkcyjnych i zaciera tematy.
  • Uruchomienie na zbyt małej liczbie dokumentów prowadzi do niestabilnych tematów, które zmieniają się z jednego dopasowania do drugiego.
  • Traktowanie kolumn tematów jako dokładnych, a nie przybliżonych — NMF jedynie w przybliżeniu rekonstruuje oryginalną macierz.

Najczęściej zadawane pytania

Czym różni się modelowanie tematyczne NMF od LDA?

Oba modele ekstrahują rozkłady dokument-temat, ale NMF to faktoryzacja macierzy, która wymusza, aby wszystkie komponenty były niezujemne i addytywne, podczas gdy LDA jest probabilistycznym modelem generatywnym. Addytywna, oparta na częściach struktura NMF sprawia, że jej tematy są zazwyczaj bardziej interpretowalne niż te z LDA.

Jak wybrać liczbę tematów k?

k musi być ustawione przed dopasowaniem, ponieważ NMF nie uczy się go z danych. Wybierz je na podstawie wiedzy dziedzinowej oraz poprzez porównanie interpretowalności i spójności tematów dla kilku wartości k.

Dlaczego TF-IDF jest preferowane nad surowymi zliczeniami?

TF-IDF zmniejsza wagę słów, które pojawiają się wszędzie, i podkreśla terminy, które wyróżniają dokumenty, dając faktoryzacji czystszy sygnał i generując ostrzejsze, bardziej możliwe do nazwania tematy.

Ile dokumentów potrzebuję?

Zalecane minimum to około 50 lub więcej. Przy zbyt małej liczbie dokumentów odzyskane tematy stają się niestabilne i mogą zmieniać się z jednego dopasowania do drugiego.

Pokrewne metody

Źródła

  1. Lee, D.D. & Seung, H.S. (1999). Learning the Parts of Objects by Non-negative Matrix Factorization. Nature, 401, 788-791.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Arora, S., Ge, R., Halpern, Y., Mimno, D., Moitra, A., Sontag, D., Wu, Y. & Zhu, M. (2013). A Practical Algorithm for Topic Modeling with Provable Guarantees. Proceedings of the 30th International Conference on Machine Learning (ICML), 280-288.

    Otwórz odnośnik do publikacji
    Skopiowano.