Przejdź do treści
Wróć do wyników wyszukiwania

Model tematyczny NMF

Autor metody
Lee, D. D. & Seung, H. S.
Rok
1999
Typ
Matrix factorization / unsupervised topic model
Rodzina
Deep learning / NLP / CV

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

NMF (Non-negative Matrix Factorization) to nienadzorowana metoda dekompozycji macierzy, która odkrywa ukryte tematy w korpusie tekstowym poprzez faktoryzację macierzy dokument-słowo na dwie macierze nieujemne — jedną kodującą wagi tematów i słów, drugą wagi dokumentów i tematów.

Ograniczenie nieujemności prowadzi do reprezentacji częściowych, addytywnych, które zazwyczaj generują czyste, interpretowalne tematy.

Intuicja stojąca za metodą

Wyobraź sobie swój korpus jako dużą arkusz kalkulacyjny, gdzie wiersze to dokumenty, a kolumny to słowa. NMF pyta: czy mogę przedstawić ten arkusz jako kombinację niewielkiej liczby archetypowych wzorców słów (tematów)? Ponieważ wszystkie wartości muszą być nieujemne, model nie może anulować jednego wzorca innym — jest zmuszony do znalezienia addytywnych elementów składowych. Każdy dokument jest następnie opisywany jako mieszanina tych wzorców. Wynik jest często bardziej bezpośrednio czytelny niż w przypadku probabilistycznych modeli tematycznych, ponieważ najczęstsze słowa na temat rzadko się silnie pokrywają.

Historia

Non-negative Matrix Factorization zostało wprowadzone przez Daniela D. Lee i H. Sebastiana Seunga w przełomowym artykule w Nature z 1999 roku, demonstrującym, że NMF danych obrazowych generuje zlokalizowane, częściowe reprezentacje — w przeciwieństwie do PCA czy VQ. Ich artykuł z NIPS z 2001 roku podał obecnie standardowe multiplikatywne reguły aktualizacji. NMF zostało szybko zaadaptowane do analizy tekstu jako alternatywa dla LDA w modelowaniu tematów, oferując prostsze trenowanie i często wyraźniejsze klastry słów. Pozostaje standardowym punktem odniesienia w badaniach nad NLP i wyszukiwaniem informacji.

Kiedy stosować

Używaj NMF, gdy potrzebujesz wyrazistych, częściowych tematów z korpusu tekstowego, zwłaszcza gdy chcesz tematów o niskim pokryciu słów i jasnym etykietowaniu. Dobrze działa na macierzach TF-IDF pochodzących z krótkich i średnich dokumentów, takich jak abstrakty, artykuły informacyjne lub odpowiedzi na ankiety. Jest szczególnie odpowiedni, gdy interpretowalność jest głównym celem, a korpus jest średniej wielkości (tysiące do kilkuset tysięcy dokumentów). Unikaj NMF, gdy masz bardzo krótkie dokumenty (mniej niż ~20 tokenów każdy), gdy wymagany jest probabilistyczny model generatywny do dalszego wnioskowania, lub gdy korpus jest bardzo duży i rzadki — w takich przypadkach LDA lub neuralne modele tematyczne mogą być bardziej odpowiednie.

Ograniczenia i uwagi

  • Liczba tematów k musi być ustawiona przez użytkownika; nie ma wbudowanego mechanizmu do jej wnioskowania z danych.
  • NMF nie jest probabilistycznym modelem generatywnym, więc przypisania dokumentów do tematów nie są właściwymi prawdopodobieństwami i nie mogą być bezpośrednio używane w probabilistycznych potokach przetwarzania.
  • Wyniki zależą od inicjalizacji i mogą się różnić między uruchomieniami, chyba że użyje się ustalonego ziarna i inicjalizacji NNDSVD.
  • Bardzo krótkie dokumenty (mniej niż ~20 tokenów) generują rzadkie wiersze w V, które trudno sensownie rozłożyć.
  • NMF nie modeluje korelacji tematów ani kowariantów na poziomie dokumentu, tak jak robią to strukturalne modele tematyczne.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Ograniczenie nieujemności generuje addytywne, częściowe reprezentacje, które są często bardziej interpretowalne niż LDA.
  • Tematy zazwyczaj mają niższe pokrycie słów między tematami, co ułatwia ręczne etykietowanie.
  • Deterministyczne aktualizacje (z ustalonym ziarnem) sprawiają, że wyniki są bardziej powtarzalne niż w przypadku LDA opartego na próbkowaniu.
  • Wejście TF-IDF naturalnie obniża wagę wspólnych słów, zmniejszając potrzebę wyczerpującej listy słów-stopów.
  • Prosta implementacja w standardowych bibliotekach (scikit-learn) z niewielką liczbą wymaganych hiperparametrów.
  • Rozsądnie skaluje się do korpusów liczących dziesiątki tysięcy dokumentów bez specjalistycznego sprzętu.

Zastosowania

  • Odkrywanie tematów i analiza tematyczna w literaturze naukowej, korpusach informacyjnych i otwartych odpowiedziach na ankiety.
  • Klastrowanie dokumentów i automatyczne etykietowanie treści dla dużych repozytoriów dokumentów.
  • Systemy rekomendacji wykorzystujące wektory dokument-temat jako cechy elementów.
  • Dekompozycja sygnału w bioinformatyce (ekspresja genów) i separacja źródeł dźwięku, gdzie NMF miało swoje początki.
  • Model tematyczny bazowy, z którym porównywane są modele neuronowe lub probabilistyczne.
  • Redukcja wymiarowości rzadkich macierzy dokument-słowo przed dalszą klasyfikacją.

Jak to działa

Jak to działa

1

Korpus jest przekształcany w macierz dokument-słowo V o wymiarach n-dokumentów na m-słownik. Każda komórka zazwyczaj zawiera wynik TF lub TF-IDF — surowe nieujemne liczby wystąpień lub ich ważony odpowiednik. Najpierw stosuje się preprocessing (zmiana na małe litery, usuwanie słów-stopów, opcjonalne stemming) i przycinanie słownika (minimalna i maksymalna częstość występowania w dokumentach), aby zredukować szum.

2

Macierz V jest aproksymowana jako iloczyn dwóch macierzy nieujemnych: W (n na k, wagi dokument-temat) i H (k na m, wagi temat-słowo), gdzie k to wybrana liczba tematów. Obie macierze są inicjalizowane — zazwyczaj za pomocą nieujemnego rozkładu SVD (NNDSVD) lub losowych wartości nieujemnych — a następnie iteracyjnie udoskonalane w celu minimalizacji straty rekonstrukcji, takiej jak norma Frobeniusa lub dywergencja KL od V do WH.

Wzór
V \approx W H,\; W \in \mathbb{R}_{\geq 0}^{n \times k},\; H \in \mathbb{R}_{\geq 0}^{k \times m}
3

Multiplikatywne reguły aktualizacji Lee-Seunga iterują W i H jednocześnie. Każda aktualizacja mnoży bieżącą wartość przez stosunek, który jest gwarantowany jako dodatni, zachowując nieujemność przez cały czas. Iteracje trwają do momentu, gdy strata rekonstrukcji spadnie poniżej tolerancji lub zostanie osiągnięta maksymalna liczba iteracji.

Wzór
H \leftarrow H \odot \frac{W^{T}V}{W^{T}WH}, \quad W \leftarrow W \odot \frac{VH^{T}}{WHH^{T}}
4

Po każdej iteracji algorytm sprawdza, czy zmiana straty rekonstrukcji jest mniejsza niż ustalona tolerancja (zazwyczaj 1e-4). Jeśli tak, uznaje się zbieżność. Praktyczne implementacje ograniczają również liczbę iteracji (np. do 200), aby uniknąć niekontrolowanych obliczeń na dużych słownikach.

5

Po zbiegnięciu, każdy wiersz macierzy H to temat: kolumny z najwyższymi wagami to słowa definiujące ten temat. Każdy wiersz macierzy W to miękkie przypisanie dokumentu do tematów. Tematy są zazwyczaj etykietowane przez ich 5-10 najczęstszych słów. Metryki spójności (np. NPMI) mogą być użyte do wyboru najlepszej liczby tematów k.

Częste pułapki

  • Wybieranie k arbitralnie bez oceny metryk spójności dla zakresu wartości.
  • Używanie surowych macierzy liczników zamiast TF-IDF, co powoduje, że słowa o wysokiej częstotliwości dominują w każdym temacie.
  • Pomijanie przycinania słownika (minimalna/maksymalna częstość występowania w dokumentach), pozostawiając szum lub bardzo rzadkie terminy, które powiększają macierz i rozmywają tematy.
  • Traktowanie wag dokument-temat jako prawdopodobieństw bez ich normalizacji wierszowej.
  • Ignorowanie wpływu wyborów preprocessingowych (stemming vs. lematyzacja, listy słów-stopów) na jakość tematów.

Najczęściej zadawane pytania

Jak wybrać liczbę tematów k?

Uruchom NMF dla zakresu wartości k (np. od 5 do 30) i oceń spójność tematów (wynik NPMI lub C_V) na wydzielonej próbie słownictwa. Wykreśl spójność w zależności od k i poszukaj szczytu lub załamania. Wiedza dziedzinowa o oczekiwanej strukturze tematycznej korpusu jest również pomocna.

Czy NMF jest lepsze niż LDA?

Żadne nie jest uniwersalnie lepsze. NMF często generuje tematy o niższym pokryciu słów między tematami i jest szybsze w trenowaniu, ale nie jest probabilistycznym modelem generatywnym. LDA dostarcza rozkładów dokument-temat, które są właściwymi prawdopodobieństwami i obsługuje ewaluację perpleksji dla danych niewidzianych. Wybór zależy od tego, czy priorytetem jest interpretowalność, czy wnioskowanie probabilistyczne.

Czy NMF wymaga usuwania słów-stopów?

Użycie danych wejściowych TF-IDF automatycznie zmniejsza wpływ wspólnych słów, ale jawne usuwanie słów-stopów i przycinanie minimalnej częstości występowania w dokumentach nadal poprawiają wyniki, eliminując bardzo rzadkie lub występujące w całym korpusie tokeny, które dodają szum, nie przyczyniając się do spójnych tematów.

Jak powtarzalne są wyniki NMF?

Przy ustalonej losowej inicjalizacji (ziarno) i inicjalizacji NNDSVD, wyniki NMF są wysoce powtarzalne. Bez ustalonego ziarna, różne uruchomienia mogą dawać różne kolejności tematów lub nieco inne rozkłady słów. Zawsze ustawiaj ziarno i podawaj je przy publikacji.

Czy NMF może obsługiwać korpusy wielojęzyczne?

Tak, ale macierz dokument-słowo musi traktować słownictwo każdego języka oddzielnie, lub korpus musi zostać najpierw przetłumaczony na wspólny język. Wielojęzyczne modele tematyczne (np. polilngwalne LDA lub wielojęzyczne podejścia oparte na BERT) są zaprojektowane specjalnie dla ustawień międzyjęzykowych i mogą tam przewyższać zwykłe NMF.

Pokrewne metody

Źródła

  1. Lee, D. D., & Seung, H. S. (1999). Learning the parts of objects by non-negative matrix factorization. Nature, 401(6755), 788–791.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Lee, D. D., & Seung, H. S. (2001). Algorithms for non-negative matrix factorization. In Advances in Neural Information Processing Systems (NIPS), 13, 556–562.

    Otwórz odnośnik do publikacji
    Skopiowano.