TF-IDF — Częstość występowania terminu–Odwrotna częstość dokumentu
- Autor metody
- Salton & Buckley
- Rok
- 1988
- Typ
- Text vectorization / term-weighting scheme
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
TF-IDF, wprowadzone przez Saltona i Buckleya (1988), to schemat ważenia terminów, który ocenia każde słowo w dokumencie pod kątem tego, jak często występuje w nim i jak rzadkie jest w całej kolekcji.
Przekształca surowy tekst w ważone wektory dokumentów, nadając wysokie wagi terminom, które są częste w jednym dokumencie, ale rzadkie gdzie indziej.
Intuicja stojąca za metodą
Nie każde słowo, które pojawia się często, jest informatywne — słowa takie jak „the” pojawiają się wszędzie i niewiele mówią o zawartości dokumentu. TF-IDF oddaje ideę, że termin ma największe znaczenie, gdy jest częsty w konkretnym dokumencie, a jednocześnie rzadki w pozostałej części kolekcji. Mnożąc częstość występowania terminu lokalnie przez jego globalną specyficzność, schemat wyróżnia słowa, które faktycznie charakteryzują każdy dokument, a obniża wagę powszechnych słów.
Historia
TF-IDF wywodzi się z prac Saltona i Buckleya (1988) nad wyszukiwaniem informacji, którzy systematycznie porównywali podejścia do ważenia terminów w celu automatycznego wyszukiwania tekstów i ustalili, że połączenie częstości występowania terminu z odwrotną częstością dokumentu jest skutecznym schematem reprezentacji dokumentów. Stało się to podstawową bazą dla wektoryzacji tekstu i pozostaje szeroko stosowane jako przejrzysta reprezentacja cech.
Kiedy stosować
Używaj TF-IDF, gdy masz korpus tekstowy i potrzebujesz przekształcić dokumenty w cechy numeryczne do wyszukiwania, klasyfikacji lub porównywania podobieństwa. Opiera się na założeniu worka słów i wymaga wcześniejszego przetwarzania wstępnego tekstu. Kolekcja powinna być stosunkowo duża — przy mniej niż około 100 dokumentach wagi IDF stają się niestabilne, a prosta analiza częstości słów jest bardziej wiarygodna. Bez żadnych danych tekstowych TF-IDF nie można obliczyć.
Ograniczenia i uwagi
- Opiera się na założeniu worka słów i ignoruje kolejność słów oraz kontekst.
- Wagi IDF stają się niestabilne i bez znaczenia w bardzo małych korpusach.
- Wymaga starannego przetwarzania wstępnego tekstu; szumne tokeny pogarszają jakość wag.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Prosty, szybki i czytelny — każda waga jest bezpośrednio powiązana z lokalną częstością i globalną rzadkością.
- Przekształca surowy tekst w numeryczne wektory dokumentów, użyteczne dla metod wyszukiwania, klasyfikacji i klastrowania.
- Obniża wagę wszechobecnych, nieinformatywnych słów, jednocześnie wyróżniając terminy, które charakteryzują dokument.
Zastosowania
- Reprezentowanie dokumentów jako wektorów cech do klasyfikacji tekstu.
- Rankingowanie i wyszukiwanie dokumentów w zastosowaniach wyszukiwania.
- Identyfikowanie najbardziej charakterystycznych słów kluczowych, które opisują dokument.
- Tworzenie danych wejściowych do klastrowania dokumentów i porównywania podobieństwa.
Jak to działa
Jak to działa
Korpus tekstowy jest czyszczony i tokenizowany na terminy — tekst jest normalizowany i dzielony na jednostki słowne, które będą ważone. Ponieważ TF-IDF opiera się na założeniu worka słów (bag-of-words), spójne przetwarzanie wstępne wszystkich dokumentów sprawia, że uzyskane zliczenia są porównywalne.
Dla każdego dokumentu częstość występowania terminu (TF) zlicza, ile razy każdy termin występuje w tym dokumencie. Termin, który pojawia się wiele razy w pojedynczym dokumencie, otrzymuje wyższą wagę lokalną, odzwierciedlając jego centralne znaczenie dla treści tego dokumentu.
W całej kolekcji odwrotna częstość dokumentu (IDF) mierzy, jak rzadki jest każdy termin — terminy pojawiające się w wielu dokumentach otrzymują niskie IDF, podczas gdy terminy ograniczone do niewielu dokumentów otrzymują wysokie IDF. To właśnie tłumi wszechobecne, nieinformatywne słowa i nagradza te specyficzne.
Składowe TF i IDF są łączone w pojedynczą wagę dla każdego terminu, a każdy dokument staje się wektorem tych ważonych wyników. Powstałe wektory dokument-termin są reprezentacją, którą wykorzystują zadania niższego poziomu — wyszukiwanie, klasyfikacja, klastrowanie.
Częste pułapki
- Uruchamianie TF-IDF na korpusie poniżej ~100 dokumentów — wagi IDF stają się bez znaczenia, więc należy zamiast tego zastosować prostą analizę częstości słów.
- Pomijanie lub niespójne przetwarzanie wstępne dokumentów, co sprawia, że zliczenia terminów są nieporównywalne.
- Próba zastosowania TF-IDF, gdy nie ma danych tekstowych — odpowiednią ścieżką jest kodowanie kategoryczne z analizą treści.
- Oczekiwanie, że TF-IDF uchwyci znaczenie lub kontekst: waży izolowane terminy i nie może modelować kolejności słów ani semantyki.
Najczęściej zadawane pytania
Co mierzą TF i IDF?
Częstość występowania terminu (TF) mierzy, jak często termin pojawia się w pojedynczym dokumencie, odzwierciedlając jego lokalne znaczenie. Odwrotna częstość dokumentu (IDF) mierzy, jak rzadki jest termin w całej kolekcji, obniżając wagę słów, które pojawiają się w wielu dokumentach. Ich pomnożenie daje wysoką wagę terminom, które są częste w jednym dokumencie, ale rzadkie gdzie indziej.
Jak duży musi być mój korpus?
TF-IDF wymaga stosunkowo dużej kolekcji — około 100 dokumentów lub więcej. Poniżej tego progu wagi IDF stają się niestabilne i tracą znaczenie, a prostsza analiza częstości słów jest bardziej wiarygodnym wyborem.
Czy TF-IDF rozumie znaczenie lub kontekst?
Nie. TF-IDF opiera się na założeniu worka słów: waży poszczególne terminy według częstości i rzadkości, ignorując kolejność słów, składnię i semantykę. W przypadku kontekstu lub podobieństwa semantycznego bardziej odpowiednie są metody osadzania (embedding), takie jak Word2Vec.
Jakie przetwarzanie wstępne jest wymagane?
Korpus musi być spójnie czyszczony i tokenizowany przed ważeniem — normalizując tekst i dzieląc go na porównywalne jednostki terminów. Pominięcie tego kroku pozostawia szumne tokeny, które pogarszają jakość wag.
Pokrewne metody
Źródła
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
Otwórz odnośnik DOISkopiowano.