Przejdź do treści
Wróć do wyników wyszukiwania

TextCNN

Autor metody
Kim, Y.
Rok
2014
Typ
Convolutional neural network (deep learning)

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

TextCNN to konwolucyjna sieć neuronowa do klasyfikacji tekstu, wprowadzona przez Yoon Kima w 2014 roku, która stosuje równoległe filtry konwolucyjne o różnych rozmiarach okna na osadzeniach słów, aby wychwycić lokalne wzorce n-gramów.

Jest szybka i skuteczna w analizie sentymentu oraz klasyfikacji tematów.

Intuicja stojąca za metodą

Wiele wskazówek decydujących o tym, czego dotyczy zdanie, to krótkie frazy — dwa, trzy lub cztery słowa, takie jak 'nie bardzo dobre' lub 'gorąco polecam'. TextCNN przesuwa małe filtry wzdłuż sekwencji wektorów słów, a każdy filtr działa jak detektor określonego rodzaju krótkiej frazy. Używając równolegle kilku rozmiarów okna, uczy się rozpoznawać najbardziej znaczące frazy niezależnie od ich położenia w tekście, a następnie wykorzystuje najsilniejsze sygnały do określenia etykiety.

Historia

TextCNN został wprowadzony przez Yoon Kima w 2014 roku (EMNLP), pokazując, że prosta sieć CNN zbudowana na wstępnie wytrenowanych wektorach słów osiąga silne wyniki w kilku benchmarkach klasyfikacji zdań. Zhang i Wallace (2015) przeprowadzili analizę wrażliwości dla praktyków, badając, jak wybory projektowe, takie jak rozmiary okna filtra i liczba map cech, wpływają na wydajność, czyniąc TextCNN dobrze zrozumianą i szeroko stosowaną bazą do klasyfikacji tekstu.

Kiedy stosować

Dobrze nadaje się do klasyfikacji lub przewidywania na podstawie oznakowanych tekstów — analizy sentymentu lub klasyfikacji tematów — gdy masz rozsądnie duży korpus oznakowanych danych (co najmniej około 200 dokumentów, a wygodniej 500+) i gotowe do użycia wstępnie wytrenowane osadzenia słów, takie jak Word2Vec lub GloVe. Nie wymaga danych o rozkładzie normalnym. Na bardzo małych zbiorach tekstowych (poniżej około 100 dokumentów) głębokie uczenie zawodzi, a klasyczny potok TF-IDF plus uczenie maszynowe jest wystarczający; między około 100 a 500 dokumentów gradient boosting jest bezpieczniejszym wyborem, ponieważ TextCNN ma tendencję do przeuczenia.

Ograniczenia i uwagi

  • Wymaga oznakowanego zbioru tekstowego i wstępnie wytrenowanych osadzeń słów, aby działać dobrze.
  • Przeucza się na małych korpusach: poniżej około 500 dokumentów wzorce n-gramów nie są uczone wiarygodnie.
  • Poniżej około 100 dokumentów głębokie uczenie zawodzi całkowicie, a prostsze modele są preferowane.
  • Wychwytuje tylko lokalne okna, więc długoterminowe zależności w całym dokumencie są trudniejsze do modelowania.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Szybki w trenowaniu i skuteczny w analizie sentymentu oraz klasyfikacji tematów.
  • Wychwytuje lokalne wzorce n-gramów za pomocą równoległych filtrów o kilku rozmiarach okna.
  • Niezależny od pozycji: pooling typu max wychwytuje kluczową frazę, gdziekolwiek pojawi się w tekście.
  • Wykorzystuje wstępnie wytrenowane osadzenia słów do kodowania znaczenia bez ręcznego inżynierii cech.

Zastosowania

  • Analiza sentymentu w recenzjach, komentarzach i odpowiedziach na ankiety.
  • Klasyfikacja tematów dokumentów i krótkich tekstów.
  • Kategoryzacja oznakowanych tekstów w domenach społecznych, zdrowotnych, ekonomicznych i biznesowych.
  • Szybka baza do klasyfikacji na poziomie zdań przed próbą użycia cięższych modeli sekwencyjnych.

Jak to działa

Jak to działa

1

Każde słowo w tekście wejściowym jest mapowane na gęste osadzenie słowa (takie jak Word2Vec lub GloVe), zamieniając zdanie w macierz, gdzie każdy wiersz to wektor słowa. Ta reprezentacja umieszcza słowa o podobnym znaczeniu blisko siebie, dając warstwie konwolucyjnej znaczący numeryczny widok tekstu.

2

Równoległe filtry konwolucyjne o różnych rozmiarach okna (na przykład obejmujące 3, 4 i 5 kolejnych słów) przesuwają się po macierzy osadzeń. Każdy filtr generuje wartość cechy w każdej pozycji, łącząc słowa, które aktualnie obejmuje, dzięki czemu wychwytuje lokalne wzorce n-gramów, gdziekolwiek się pojawią w zdaniu.

Wzór
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)
3

Pooling typu max-over-time zachowuje tylko najsilniejszą aktywację z każdego filtra, podsumowując najbardziej istotną wykrytą frazę. Te połączone cechy są konkatenowane i przekazywane do końcowej warstwy klasyfikacyjnej, która zwraca przewidywaną klasę, taką jak sentyment lub temat.

Wzór
\hat{c} = \max_i c_i

Częste pułapki

  • Trenowanie na zbyt małej liczbie oznakowanych dokumentów i ufanie przeuczonemu modelowi.
  • Pomijanie wstępnie wytrenowanych osadzeń i uczenie wektorów od zera na małym korpusie.
  • Wybieranie rozmiarów okna bez analizy wrażliwości na zbiorze walidacyjnym.
  • Sięganie po TextCNN, gdy potok TF-IDF plus klasyczne uczenie maszynowe byłby wystarczający na małych danych.

Najczęściej zadawane pytania

Ile oznakowanego tekstu potrzebuję?

TextCNN działa najlepiej z kilkuset oznakowanymi dokumentami lub więcej. Poniżej około 500 dokumentów ma tendencję do przeuczenia, a wzorce n-gramów nie są uczone wiarygodnie, a poniżej około 100 dokumentów głębokie uczenie zawodzi całkowicie — wtedy wystarczający jest klasyczny potok TF-IDF plus uczenie maszynowe.

Czy potrzebuję wstępnie wytrenowanych osadzeń słów?

Wstępnie wytrenowane osadzenia, takie jak Word2Vec lub GloVe, są zakładane i zdecydowanie zalecane. Kodują one znaczenie słów nauczone na dużych korpusach, co jest szczególnie cenne, gdy twój oznakowany zbiór jest skromny.

Co robią różne rozmiary okna?

Każdy rozmiar okna pozwala filtrowi spojrzeć na frazę o innej długości — na przykład trzy, cztery lub pięć kolejnych słów. Uruchamianie kilku rozmiarów równolegle wychwytuje wzorce n-gramów o różnych długościach, a analiza wrażliwości może pomóc w ich wyborze.

Kiedy powinienem wybrać inną metodę?

Na bardzo małych zbiorach tekstowych (poniżej około 100 dokumentów) użyj modelu TF-IDF plus klasycznego uczenia maszynowego; między około 100 a 500 dokumentów gradient boosting jest bezpieczniejszym wyborem, ponieważ TextCNN przeucza się, gdy danych jest mało.

Pokrewne metody

Źródła

  1. Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.

    Otwórz odnośnik DOI
    Skopiowano.
  2. Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.

    Otwórz odnośnik do publikacji
    Skopiowano.