Przejdź do treści
Wróć do wyników wyszukiwania

Regresja tekstowa — przewidywanie liczb na podstawie tekstu

Typ
Supervised regression on text features

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Regresja tekstowa przewiduje ciągłą zmienną celu przy użyciu cech wyodrębnionych z tekstu — wyników TF-IDF, osadzeń lub n-gramów — jako zmiennych niezależnych.

Opierając się na programie „tekst jako dane” skonsolidowanym przez Gentzkowa, Kelly i Taddy (2019), pozwala na bezpośrednie oszacowanie numerycznego wyniku, takiego jak cena, ocena lub wynik sentymentu, na podstawie dokumentów i jest szeroko stosowana w naukach społecznych, ekonomii i finansach.

Intuicja stojąca za metodą

Model regresji normalnie potrzebuje predyktorów numerycznych, ale surowym materiałem jest tutaj tekst. Pomysł polega na przekształceniu każdego dokumentu w wektor liczb, który oddaje jego słownictwo, a następnie przeprowadzeniu regresji numerycznego celu na tych cechach. Zamiast ręcznego kodowania znaczenia dokumentu, metoda pozwala, aby same słowa — ważone przez ich informacyjność — napędzały przewidywanie ciągłej wielkości.

Historia

Regresja tekstowa wpisuje się w szerszy ruch „tekst jako dane” analizowany przez Gentzkowa, Kelly i Taddy (2019), który ujął, jak nieustrukturyzowany tekst może służyć jako dane wejściowe do modeli ekonometrycznych i statystycznych. Taddy (2013) rozwinął zastosowanie predykcyjne tekstu, wprowadzając wielomianową regresję odwrotną do odzyskiwania sentymentu i innych ilości z liczby słów, ilustrując, jak numeryczne wyniki można odczytać z cech tekstowych.

Kiedy stosować

Użyj regresji tekstowej, gdy masz predyktor tekstowy i ciągły wynik numeryczny, który chcesz z niego przewidzieć, z co najmniej około pięćdziesięcioma dokumentami do nauki. Tekst musi być najpierw wektoryzowany, a redukcja wymiarowości jest często pomocna, biorąc pod uwagę szerokość przestrzeni cech tekstowych. Nie zakłada normalnie rozłożonych danych wejściowych. Przy znacznie mniejszej liczbie dokumentów lub braku numerycznego celu do regresji, metoda nie jest odpowiednia.

Ograniczenia i uwagi

  • Potrzebuje rozsądnej próbki (około pięćdziesięciu dokumentów lub więcej) do oszacowania stabilnych współczynników.
  • Tekst musi być najpierw wektoryzowany, a bardzo wysoka wymiarowość zazwyczaj wymaga redukcji wymiarowości.
  • Jakość predykcyjna zależy od tego, jak dobrze wybrane cechy tekstowe niosą sygnał o celu numerycznym.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Pozwala na bezpośrednie przewidywanie ciągłego wyniku na podstawie tekstu, bez ręcznego kodowania treści dokumentu.
  • Działa z kilkoma typami cech — TF-IDF, osadzenia, lub n-gramy — dzięki czemu reprezentacja może pasować do korpusu.
  • Nie wymaga normalnie rozłożonych danych wejściowych, dopasowując się do rzadkich, wysokowymiarowych cech generowanych przez tekst.

Zastosowania

  • Szacowanie numerycznych ocen lub wyników na podstawie tekstu recenzji i opinii.
  • Przewidywanie ilości finansowych lub rynkowych na podstawie wiadomości, zgłoszeń i ujawnień.
  • Odzyskiwanie ciągłych wyników sentymentu lub postawy z tekstu mediów społecznościowych w badaniach nauk społecznych.
  • Łączenie treści pisemnych z mierzonymi wynikami w badaniach ekonomicznych i politycznych.

Jak to działa

Jak to działa

1

Każdy dokument jest konwertowany na cechy numeryczne, dzięki czemu tekst staje się gotowym do regresji wejściem. Ten krok wektoryzacji generuje wyniki TF-IDF, osadzenia słów lub dokumentów, lub zliczenia n-gramów — przekształcając nieustrukturyzowane słownictwo w zmienne niezależne, które odczyta regresja.

2

Ponieważ wektory tekstowe są zazwyczaj bardzo wysokowymiarowe, redukcja wymiarowości jest często stosowana do kompresji przestrzeni cech przed dopasowaniem. Przycinanie zbędnych lub rzadkich cech utrzymuje stabilność modelu i pomaga mu generalizować, zamiast zapamiętywać rzadkie sformułowania.

3

Model regresji jest trenowany do mapowania cech tekstowych na ciągły cel. Zregularizowany regresor liniowy jest naturalnym dopasowaniem do szerokich, rzadkich macierzy cech, które generuje tekst, ucząc się współczynników łączących słownictwo z numerycznym wynikiem.

4

Dopasowany model jest oceniany na danych odłożonych na bok za pomocą metryk regresji, a największe błędy są analizowane przed zaufaniem do modelu. Chroni to przed modelem, który dopasowuje tekst treningowy, ale nie przewiduje celu na nowych dokumentach.

Częste pułapki

  • Pominięcie redukcji wymiarowości na bardzo szerokiej macierzy cech zaprasza do nadmiernego dopasowania do rzadkich sformułowań.
  • Dopasowanie na zbyt małej liczbie dokumentów daje niestabilne współczynniki, które nie generalizują.
  • Ponowne użycie wektoryzatora lub modelu zbudowanego na jednym korpusie lub domenie dla innego pogarsza przewidywania; należy ponownie dopasować do tekstu docelowego.
  • Ocena modelu wyłącznie na podstawie dopasowania treningowego — zawsze oceniaj na danych odłożonych na bok i analizuj największe błędy.

Najczęściej zadawane pytania

Jaki rodzaj celu przewiduje regresja tekstowa?

Ciągła zmienna numeryczna — na przykład cena, ocena lub wynik sentymentu. Jeśli celem jest kategoria, a nie liczba, odpowiednią metodą jest klasyfikacja tekstu.

Jakich cech tekstowych należy użyć jako predyktorów?

Wyniki TF-IDF, osadzenia słów lub dokumentów oraz zliczenia n-gramów to standardowe wybory. Najlepsza reprezentacja zależy od korpusu i sygnału, który oczekujesz, że słownictwo będzie niosło o celu.

Ile danych potrzebuję?

Metoda oczekuje rzędu pięćdziesięciu dokumentów lub więcej, aby regresja mogła oszacować stabilne współczynniki. Ponieważ cechy tekstowe są wysokowymiarowe, redukcja wymiarowości jest często zalecana nawet przy odpowiedniej próbie.

Dlaczego zaleca się redukcję wymiarowości?

Wektoryzacja tekstu generuje bardzo szerokie, rzadkie macierze cech. Redukcja wymiarowości kompresuje zbędne cechy, stabilizuje dopasowanie i pomaga modelowi generalizować zamiast zapamiętywać rzadkie sformułowania.

Pokrewne metody

Źródła

  1. Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.

    Otwórz odnośnik DOI
    Skopiowano.