Rozwijanie skrótów — rozstrzyganie akronimów i form skróconych
- Autor metody
- Schwartz & Hearst (2003) — seminal algorithm for biomedical abbreviation detection
- Rok
- 2003
- Typ
- NLP disambiguation pipeline
Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku
Do czego służy?
Rozstrzyganie skrótów i akronimów to potok przetwarzania języka naturalnego, który mapuje każdą formę skróconą w tekście na jej pełną definicję, wykorzystując wskazówki kontekstowe z otaczającego tekstu.
Jest to szczególnie ważne w dokumentach medycznych, prawnych i technicznych, gdzie ten sam akronim może oznaczać zupełnie inne rzeczy w różnych dziedzinach. Fundamentalny algorytm tej dziedziny został opublikowany przez Schwartz i Hearst (2003) dla literatury biomedycznej i od tego czasu został rozszerzony o podejścia oparte na sieciach neuronowych i transformatorach.
Intuicja stojąca za metodą
Dokument pełen akronimów jest trudny do odczytania i jeszcze trudniejszy do analizy obliczeniowej — te same trzy litery mogą oznaczać różne rzeczy w różnych dziedzinach, a nawet w różnych akapitach. Rozwijanie skrótów działa jak ekspert czytelnik, który zauważa akronim, cofa się w tekście, aby znaleźć jego definicję, i zapisuje ją za każdym razem, gdy pojawia się skrót. Zamiast polegać wyłącznie na stałym słowniku, metoda wykorzystuje kontekst: szuka wzorca, w którym autor definiuje termin („zawał mięśnia sercowego (ZM)”), zapisuje tę parę, a następnie zastępuje pełną formę wszędzie tam, gdzie pojawia się forma skrócona.
Historia
Problem rozstrzygania skrótów w tekście został sformalizowany dla literatury biomedycznej przez Schwartz i Hearst (2003), którzy zaproponowali lekki algorytm kontekstu lewego, który stał się podstawą w tej dziedzinie. Ich metoda wykazała, że większość skrótów w pracach naukowych jest wprowadzana z jawną definicją w nawiasach i że prosta reguła dopasowania osiąga wysoką precyzję. Kolejne prace rozszerzyły podejście o klasyfikatory uczenia maszynowego, warunkowe pola losowe, a ostatnio o enkodery transformatorowe, które wspólnie modelują formę skróconą i jej kontekst. Zbiór danych MACRONYM z 2022 roku autorstwa Veyseh i wsp. wykazał, że rozstrzyganie akronimów pozostaje otwartym wyzwaniem nawet dla dużych modeli językowych, gdy zaangażowana jest terminologia specyficzna dla dziedziny lub makroekonomiczna.
Kiedy stosować
Rozwijanie skrótów pasuje do każdego potoku, w którym nierozstrzygnięte formy skrócone utrudniałyby zadania niższego poziomu, takie jak ekstrakcja informacji, indeksowanie wyszukiwania lub klasyfikacja tekstu. Jest to najbardziej krytyczne w tekstach biomedycznych i klinicznych — gdzie niejednoznaczność akronimów może prowadzić do błędów zagrażających bezpieczeństwu pacjentów — ale równie przydatne w korpusach prawnych, finansowych i naukowych. Powinien być dostępny słownik dziedzinowy lub baza skrótów; bez okna kontekstowego i bez słownika metoda sprowadza się do zgadywania. Korpus musi zawierać co najmniej pewne wzorce definicji (forma skrócona wprowadzona obok jej pełnej formy), chyba że w pełni pokrywa dziedzinę wstępnie zbudowana baza wiedzy.
Ograniczenia i uwagi
- Wydajność zależy od tego, czy korpus zawiera jawne wzorce definicji; niedostatecznie zdefiniowane skróty, które nigdy nie są wprowadzane w pełnej formie, nie mogą być rozstrzygnięte wyłącznie na podstawie kontekstu.
- Niejednoznaczność akronimów — gdzie ta sama forma skrócona ma wiele znaczeń w tym samym dokumencie — wymaga sygnałów dysambiguacji, z którymi systemy oparte na regułach radzą sobie słabo.
- Rozstrzyganie między dokumentami (ten sam skrót zdefiniowany w jednym pliku, użyty bez definicji w innym) wymaga utrzymywanej bazy wiedzy o skrótach.
- Przesunięcie dziedziny: słownik skrótów wytrenowany na tekstach biomedycznych może błędnie rozwijać skróty w dokumentach prawnych lub inżynieryjnych o tej samej sekwencji liter.
Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.
Mocne strony
- Rozstrzyga skróty wewnątrz dokumentu bez potrzeby posiadania kompletnego, wstępnie zbudowanego słownika, poprzez ekstrakcję definicji bezpośrednio z kontekstu.
- Skaluje się od prostego algorytmu opartego na regułach (Schwartz–Hearst) do modeli neuronowych bez zmiany ogólnej struktury potoku.
- Zmniejsza niejednoznaczność w zadaniach NLP niższego poziomu — ekstrakcji informacji, klasyfikacji i wyszukiwania — poprzez zastąpienie nieprzezroczystych form skróconych przez zrozumiałe pełne terminy.
- Szczególnie cenne w dziedzinach wysokiego ryzyka (klinicznych, prawnych), gdzie pojedynczy błędnie odczytany skrót może całkowicie zmienić znaczenie dokumentu.
Zastosowania
- Przetwarzanie języka naturalnego w klinice: rozwijanie nazw leków, kodów diagnoz i skrótów procedur w elektronicznej dokumentacji medycznej przed ekstrakcją informacji lub wyszukiwaniem.
- Przetwarzanie tekstów prawnych: rozstrzyganie skrótów ustawowych i akronimów regulacyjnych w celu poprawy analizy umów i weryfikacji zgodności.
- Wydobywanie informacji z literatury naukowej: wstępne przetwarzanie abstraktów biomedycznych lub inżynieryjnych, tak aby zadania rozpoznawania jednostek i ekstrakcji relacji działały na pełnych terminach.
- Indeksowanie wyszukiwania: rozwijanie skrótów w zapytaniach i dokumentach w celu poprawy kompletności w domenowych systemach wyszukiwania.
Jak to działa
Jak to działa
Potok skanuje tekst w poszukiwaniu kandydatów na formy skrócone — zazwyczaj sekwencji od dwóch do dziesięciu wielkich liter, inicjalizmów lub tokenów w nawiasach, które odpowiadają kształtowi skrótu. Heurystyki oznaczają tych kandydatów, nie zobowiązując się jeszcze do rozwinięcia.
Dla każdej wykrytej formy skróconej, otaczające okno kontekstowe jest przeszukiwane w poszukiwaniu pasującej kandydatki na pełną formę. Klasyczny algorytm Schwartz–Hearst dopasowuje inicjały frazy kandydującej do liter formy skróconej, skanując okno o długości mniej więcej dwukrotnie większej od długości skrótu w lewo. Specyficzny dla dziedziny słownik skrótów lub baza terminologiczna może zawęzić lub uzupełnić to wyszukiwanie.
Spośród wielu kandydatów na pełne formy, wybierana jest najbardziej prawdopodobna ekspansja. Systemy oparte na regułach używają wyników dopasowania; modele nadzorowane używają oznakowanych par treningowych; systemy oparte na transformatorach kodują zarówno formę skróconą, jak i jej kontekst, aby wybrać właściwe znaczenie. Gdy kontekst jest niejednoznaczny — ten sam skrót używany z różnymi znaczeniami — włączane są sygnały dysambiguacji znaczenia słowa.
Rozstrzygnięte mapowania są przeglądane pod kątem pokrycia i precyzji: jaka część form skróconych została pomyślnie rozwinięta i ile rozwinięć jest poprawnych. Błędy są analizowane ręcznie lub w stosunku do adnotacji złoty standard, a specyficzne dla dziedziny przypadki brzegowe (inicjalizmy bez widocznej definicji w dokumencie) są oznaczane do ręcznego przeglądu.
Częste pułapki
- Zakładanie, że skrót zawsze oznacza to samo w różnych dokumentach — ten sam akronim może być rozwijany inaczej w różnych dziedzinach, a nawet w różnych sekcjach tego samego raportu.
- Pomijanie kroku walidacji: nawet algorytmy o wysokiej precyzji generują błędy dla rzadkich lub nowych skrótów, a niewykryte błędy propagują się do każdego zadania niższego poziomu.
- Używanie tylko statycznego słownika bez kroku ekstrakcji kontekstu — jeśli autor wprowadzi nowy skrót nieobecny w słowniku, zostanie on całkowicie pominięty.
- Traktowanie wszystkich sekwencji wielkich liter jako skrótów — niektóre to nazwy własne, symbole genów lub kody, których nie należy rozwijać.
Najczęściej zadawane pytania
Co jeśli skrót nigdy nie zostanie zdefiniowany w dokumencie?
Jeśli w tekście nie istnieje żaden wzorzec definicji, potok musi powrócić do wstępnie zbudowanego słownika skrótów lub bazy wiedzy. Jeśli żadne z nich nie jest dostępne, formy skróconej nie można wiarygodnie rozwinąć i powinna ona zostać oznaczona jako nierozstrzygnięta, zamiast zgadywana.
Jak metoda radzi sobie z tym samym akronimem oznaczającym różne rzeczy w różnych miejscach?
Jest to podproblem dysambiguacji skrótów. Systemy oparte na regułach, które polegają na najbliższym oknie definicji, radzą sobie z tym słabo, gdy pojawia się wiele definicji. Podejścia oparte na transformatorach, które kodują otaczający kontekst dla każdego wystąpienia, radzą sobie z tym lepiej, ale dokładność dysambiguacji nadal spada, gdy kontekst jest rzadki lub techniczny.
Czy wstępnie zbudowany słownik skrótów jest konieczny?
Nie ściśle — algorytm Schwartz–Hearst ekstrahuje pary definicji z kontekstu wewnątrz dokumentu bez słownika. Jednak domenowy słownik przyspiesza proces, obsługuje niedostatecznie zdefiniowane skróty, których autor nigdy nie rozwija w tekście, i zmniejsza niejednoznaczność. W przypadku tekstów klinicznych zasoby takie jak UMLS lub ADAM pełnią tę rolę.
Czy metoda działa w różnych językach?
Tak, ale heurystyki dopasowywania wzorców i wszelkie towarzyszące im słowniki muszą być dostosowane do języka docelowego. Większość opublikowanych prac dotyczy języka angielskiego; rozszerzenie na inne języki zazwyczaj wymaga specyficznych dla języka reguł i oznakowanych korpusów do trenowania lub oceny.
Pokrewne metody
Źródła
Schwartz, A.S. & Hearst, M.A. (2003). A Simple Algorithm for Identifying Abbreviation Definitions in Biomedical Text. Pacific Symposium on Biocomputing (PSB), 8, 451-462.
Otwórz odnośnik do publikacjiSkopiowano.Veyseh, A.P.B. et al. (2022). MACRONYM: A Large-Scale Dataset for Macroeconomic Acronym Understanding. Findings of NAACL 2022.
Otwórz odnośnik do publikacjiSkopiowano.