Ekstrakcja informacji — przekształcanie tekstu w ustrukturyzowane rekordy
- Typ
- NLP structured-information task
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Ekstrakcja informacji (IE) to zadanie przetwarzania języka naturalnego, które przekształca niestrukturalny tekst w ustrukturyzowane informacje — takie jak zdarzenia, relacje i atrybuty — dzięki czemu fakty ukryte w swobodnych dokumentach stają się czytelnymi dla maszyn rekordami.
Zadanie zostało skonsolidowane we wczesnych przeglądach autorstwa Cowie i Lehnert (1996), a później przez Grishmana (2012).
Intuicja stojąca za metodą
Dokument opowiada historię językiem swobodnym, ale baza danych potrzebuje schludnych wierszy i pól. Ekstrakcja informacji czyta tekst tak, jak analityk zaznaczyłby kto, co i kiedy, a następnie zapisuje te zaznaczenia w ustalonej schemie. Zamiast pozostawiać fakty uwięzione w prozie, metoda wyodrębnia encje i relacje między nimi, a następnie przedstawia je jako ustrukturyzowane rekordy, które można przeszukiwać.
Historia
Ekstrakcja informacji została ujęta jako odrębne zadanie NLP w przeglądach Cowie i Lehnert (1996), którzy skonsolidowali cel wyciągania ustrukturyzowanych faktów z wolnego tekstu, a później została ponownie omówiona przez Grishmana (2012) w Handbook of Natural Language Processing. Zadanie rozwinęło się od ręcznie tworzonych reguł wzorców w kierunku modeli statystycznych i uczonych do znajdowania encji, relacji i zdarzeń.
Kiedy stosować
Ekstrakcja informacji sprawdza się, gdy masz dane tekstowe i potrzebujesz przekształcić je w ustrukturyzowane rekordy zdarzeń, relacji lub atrybutów, a także gdy możesz zdefiniować specyficzną dla dziedziny ontologię opisującą, co wyodrębnić. Pomocna jest rozsądna ilość tekstu — metoda oczekuje co najmniej pięćdziesięciu dokumentów. Bez danych tekstowych lub bez uzgodnionego schematu tego, co liczy się jako fakt, IE nie może działać.
Ograniczenia i uwagi
- Wymaga jasno zdefiniowanej, specyficznej dla dziedziny ontologii przed rozpoczęciem ekstrakcji.
- Potrzebuje wystarczającej ilości danych tekstowych; bardzo małe korpusy dają zbyt mało sygnału.
- Jakość ekstrakcji zależy w dużej mierze od tego, jak dobrze schemat i wzorce pasują do języka korpusu.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Przekształca niestrukturalny tekst w ustrukturyzowane, przeszukiwalne rekordy zdarzeń, relacji i atrybutów.
- Sterowana schematem: ontologia pozwala na ponowne ukierunkowanie tego samego potoku na różne dziedziny.
- Łączy dopasowywanie wzorców oparte na regułach i wytrenowane modele, dzięki czemu dostosowuje się do dostępnych danych i zasobów.
Zastosowania
- Budowanie ustrukturyzowanych baz wiedzy z dużych kolekcji dokumentów.
- Ekstrakcja zdarzeń i ich uczestników z archiwów wiadomości lub raportów.
- Uchwytywanie relacji i atrybutów z tekstów dziedzinowych w dziedzinie zdrowia, nauk społecznych, ekonomii i biznesu.
- Populowanie baz danych faktami wydobytymi z niestrukturalnych dokumentów.
Jak to działa
Jak to działa
Najpierw definiuje się specyficzną dla dziedziny ontologię lub schemat: typy encji, relacje, zdarzenia i atrybuty, których system powinien szukać. Ponieważ IE wyodrębnia tylko to, co opisuje schemat, ten krok decyduje, co liczy się jako fakt wart uchwycenia w danej dziedzinie.
Surowy tekst jest czyszczony i segmentowany na jednostki analityczne — zdania i tokeny — tak, aby wzorce ekstrakcji i modele działały na spójnym wejściu. Bez tej normalizacji dopasowanie w dalszych etapach staje się niewiarygodne.
W tekście lokalizowane są encje, relacje, zdarzenia i atrybuty. Odbywa się to za pomocą reguł dopasowywania wzorców na strukturze językowej, za pomocą wytrenowanych modeli lub kombinacji obu, z których każdy wykrywa elementy zdefiniowane w ontologii.
Wyodrębnione elementy są składane w ustrukturyzowane rekordy zgodne ze schematem — wypełniając pola zdarzenia, łącząc uczestników relacji lub dołączając atrybuty do encji. Wynikiem są ustrukturyzowane informacje czytelne dla maszyn, pochodzące z oryginalnego niestrukturalnego tekstu.
Częste pułapki
- Pominięcie projektowania ontologii — bez zdefiniowanego schematu system nie ma celu i generuje niespójne lub bezsensowne rekordy.
- Stosowanie wzorców lub modeli zbudowanych dla jednej dziedziny do innej obniża dokładność ekstrakcji.
- Zaniedbanie preprocessingu pozostawia zaszumione tokeny i zerwane granice zdań, które zakłócają dopasowywanie w dalszych etapach.
- Przetwarzanie zbyt małej ilości tekstu (znacznie poniżej pięćdziesięciu dokumentów) daje zbyt mało przykładów, aby wzorce lub modele działały niezawodnie.
Najczęściej zadawane pytania
Czym ekstrakcja informacji różni się od rozpoznawania nazw własnych?
Rozpoznawanie nazw własnych lokalizuje i oznacza tylko encje, takie jak ludzie, miejsca i organizacje. Ekstrakcja informacji jest szersza: identyfikuje również relacje między tymi encjami, zdarzenia, w których uczestniczą, oraz ich atrybuty, a wszystko to składa w ustrukturyzowane rekordy zgodne ze schematem.
Dlaczego potrzebuję ontologii przed jej uruchomieniem?
Ontologia, czyli schemat, definiuje dokładnie, co liczy się jako fakt w Twojej dziedzinie — jakie typy encji, relacje, zdarzenia i atrybuty należy wyszukać. Ekstrakcja informacji obejmuje tylko to, co opisuje schemat, więc bez niego system nie ma celu i generuje niespójne wyniki.
Czy potrzebuję oznakowanych danych treningowych?
To zależy od podejścia. Ekstrakcja oparta na wzorcach lub regułach działa na strukturze językowej i może działać bez oznakowanych przykładów, podczas gdy wytrenowane modele uczą się na podstawie danych anotowanych. Wiele systemów łączy oba podejścia, więc potrzebne dane różnią się w zależności od wybranej metody.
Ile tekstu potrzebuję?
Ekstrakcja informacji oczekuje rozsądnej ilości tekstu — rzędu co najmniej pięćdziesięciu dokumentów. Przy znacznie mniejszej liczbie wzorce i modele mają zbyt mało przykładów, aby niezawodnie ekstrahować.
Pokrewne metody
Źródła
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
Otwórz odnośnik DOISkopiowano.Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN: 9781420085921Skopiowano.