Przejdź do treści
Wróć do wyników wyszukiwania

Rozwijanie skrótów — rozstrzyganie akronimów i form skróconych

Autor metody
Schwartz & Hearst (2003) — seminal algorithm for biomedical abbreviation detection
Rok
2003
Typ
NLP disambiguation pipeline

Ten tekst jest tłumaczeniem maszynowym i nie został jeszcze sprawdzony. Przeczytaj oryginał po angielsku

Rozmiar czcionki

Do czego służy?

Rozstrzyganie skrótów i akronimów to potok przetwarzania języka naturalnego, który mapuje każdą formę skróconą w tekście na jej pełną definicję, wykorzystując wskazówki kontekstowe z otaczającego tekstu.

Jest to szczególnie ważne w dokumentach medycznych, prawnych i technicznych, gdzie ten sam akronim może oznaczać zupełnie inne rzeczy w różnych dziedzinach. Fundamentalny algorytm tej dziedziny został opublikowany przez Schwartz i Hearst (2003) dla literatury biomedycznej i od tego czasu został rozszerzony o podejścia oparte na sieciach neuronowych i transformatorach.

Intuicja stojąca za metodą

Dokument pełen akronimów jest trudny do odczytania i jeszcze trudniejszy do analizy obliczeniowej — te same trzy litery mogą oznaczać różne rzeczy w różnych dziedzinach, a nawet w różnych akapitach. Rozwijanie skrótów działa jak ekspert czytelnik, który zauważa akronim, cofa się w tekście, aby znaleźć jego definicję, i zapisuje ją za każdym razem, gdy pojawia się skrót. Zamiast polegać wyłącznie na stałym słowniku, metoda wykorzystuje kontekst: szuka wzorca, w którym autor definiuje termin („zawał mięśnia sercowego (ZM)”), zapisuje tę parę, a następnie zastępuje pełną formę wszędzie tam, gdzie pojawia się forma skrócona.

Historia

Problem rozstrzygania skrótów w tekście został sformalizowany dla literatury biomedycznej przez Schwartz i Hearst (2003), którzy zaproponowali lekki algorytm kontekstu lewego, który stał się podstawą w tej dziedzinie. Ich metoda wykazała, że większość skrótów w pracach naukowych jest wprowadzana z jawną definicją w nawiasach i że prosta reguła dopasowania osiąga wysoką precyzję. Kolejne prace rozszerzyły podejście o klasyfikatory uczenia maszynowego, warunkowe pola losowe, a ostatnio o enkodery transformatorowe, które wspólnie modelują formę skróconą i jej kontekst. Zbiór danych MACRONYM z 2022 roku autorstwa Veyseh i wsp. wykazał, że rozstrzyganie akronimów pozostaje otwartym wyzwaniem nawet dla dużych modeli językowych, gdy zaangażowana jest terminologia specyficzna dla dziedziny lub makroekonomiczna.

Kiedy stosować

Rozwijanie skrótów pasuje do każdego potoku, w którym nierozstrzygnięte formy skrócone utrudniałyby zadania niższego poziomu, takie jak ekstrakcja informacji, indeksowanie wyszukiwania lub klasyfikacja tekstu. Jest to najbardziej krytyczne w tekstach biomedycznych i klinicznych — gdzie niejednoznaczność akronimów może prowadzić do błędów zagrażających bezpieczeństwu pacjentów — ale równie przydatne w korpusach prawnych, finansowych i naukowych. Powinien być dostępny słownik dziedzinowy lub baza skrótów; bez okna kontekstowego i bez słownika metoda sprowadza się do zgadywania. Korpus musi zawierać co najmniej pewne wzorce definicji (forma skrócona wprowadzona obok jej pełnej formy), chyba że w pełni pokrywa dziedzinę wstępnie zbudowana baza wiedzy.

Ograniczenia i uwagi

  • Wydajność zależy od tego, czy korpus zawiera jawne wzorce definicji; niedostatecznie zdefiniowane skróty, które nigdy nie są wprowadzane w pełnej formie, nie mogą być rozstrzygnięte wyłącznie na podstawie kontekstu.
  • Niejednoznaczność akronimów — gdzie ta sama forma skrócona ma wiele znaczeń w tym samym dokumencie — wymaga sygnałów dysambiguacji, z którymi systemy oparte na regułach radzą sobie słabo.
  • Rozstrzyganie między dokumentami (ten sam skrót zdefiniowany w jednym pliku, użyty bez definicji w innym) wymaga utrzymywanej bazy wiedzy o skrótach.
  • Przesunięcie dziedziny: słownik skrótów wytrenowany na tekstach biomedycznych może błędnie rozwijać skróty w dokumentach prawnych lub inżynieryjnych o tej samej sekwencji liter.

Warunki podane w źródle nie zastępują niezależnego przeglądu naukowego ani walidacji przez silnik analityczny.

Mocne strony

  • Rozstrzyga skróty wewnątrz dokumentu bez potrzeby posiadania kompletnego, wstępnie zbudowanego słownika, poprzez ekstrakcję definicji bezpośrednio z kontekstu.
  • Skaluje się od prostego algorytmu opartego na regułach (Schwartz–Hearst) do modeli neuronowych bez zmiany ogólnej struktury potoku.
  • Zmniejsza niejednoznaczność w zadaniach NLP niższego poziomu — ekstrakcji informacji, klasyfikacji i wyszukiwania — poprzez zastąpienie nieprzezroczystych form skróconych przez zrozumiałe pełne terminy.
  • Szczególnie cenne w dziedzinach wysokiego ryzyka (klinicznych, prawnych), gdzie pojedynczy błędnie odczytany skrót może całkowicie zmienić znaczenie dokumentu.

Zastosowania

  • Przetwarzanie języka naturalnego w klinice: rozwijanie nazw leków, kodów diagnoz i skrótów procedur w elektronicznej dokumentacji medycznej przed ekstrakcją informacji lub wyszukiwaniem.
  • Przetwarzanie tekstów prawnych: rozstrzyganie skrótów ustawowych i akronimów regulacyjnych w celu poprawy analizy umów i weryfikacji zgodności.
  • Wydobywanie informacji z literatury naukowej: wstępne przetwarzanie abstraktów biomedycznych lub inżynieryjnych, tak aby zadania rozpoznawania jednostek i ekstrakcji relacji działały na pełnych terminach.
  • Indeksowanie wyszukiwania: rozwijanie skrótów w zapytaniach i dokumentach w celu poprawy kompletności w domenowych systemach wyszukiwania.

Jak to działa

Jak to działa

1

Potok skanuje tekst w poszukiwaniu kandydatów na formy skrócone — zazwyczaj sekwencji od dwóch do dziesięciu wielkich liter, inicjalizmów lub tokenów w nawiasach, które odpowiadają kształtowi skrótu. Heurystyki oznaczają tych kandydatów, nie zobowiązując się jeszcze do rozwinięcia.

2

Dla każdej wykrytej formy skróconej, otaczające okno kontekstowe jest przeszukiwane w poszukiwaniu pasującej kandydatki na pełną formę. Klasyczny algorytm Schwartz–Hearst dopasowuje inicjały frazy kandydującej do liter formy skróconej, skanując okno o długości mniej więcej dwukrotnie większej od długości skrótu w lewo. Specyficzny dla dziedziny słownik skrótów lub baza terminologiczna może zawęzić lub uzupełnić to wyszukiwanie.

3

Spośród wielu kandydatów na pełne formy, wybierana jest najbardziej prawdopodobna ekspansja. Systemy oparte na regułach używają wyników dopasowania; modele nadzorowane używają oznakowanych par treningowych; systemy oparte na transformatorach kodują zarówno formę skróconą, jak i jej kontekst, aby wybrać właściwe znaczenie. Gdy kontekst jest niejednoznaczny — ten sam skrót używany z różnymi znaczeniami — włączane są sygnały dysambiguacji znaczenia słowa.

4

Rozstrzygnięte mapowania są przeglądane pod kątem pokrycia i precyzji: jaka część form skróconych została pomyślnie rozwinięta i ile rozwinięć jest poprawnych. Błędy są analizowane ręcznie lub w stosunku do adnotacji złoty standard, a specyficzne dla dziedziny przypadki brzegowe (inicjalizmy bez widocznej definicji w dokumencie) są oznaczane do ręcznego przeglądu.

Częste pułapki

  • Zakładanie, że skrót zawsze oznacza to samo w różnych dokumentach — ten sam akronim może być rozwijany inaczej w różnych dziedzinach, a nawet w różnych sekcjach tego samego raportu.
  • Pomijanie kroku walidacji: nawet algorytmy o wysokiej precyzji generują błędy dla rzadkich lub nowych skrótów, a niewykryte błędy propagują się do każdego zadania niższego poziomu.
  • Używanie tylko statycznego słownika bez kroku ekstrakcji kontekstu — jeśli autor wprowadzi nowy skrót nieobecny w słowniku, zostanie on całkowicie pominięty.
  • Traktowanie wszystkich sekwencji wielkich liter jako skrótów — niektóre to nazwy własne, symbole genów lub kody, których nie należy rozwijać.

Najczęściej zadawane pytania

Co jeśli skrót nigdy nie zostanie zdefiniowany w dokumencie?

Jeśli w tekście nie istnieje żaden wzorzec definicji, potok musi powrócić do wstępnie zbudowanego słownika skrótów lub bazy wiedzy. Jeśli żadne z nich nie jest dostępne, formy skróconej nie można wiarygodnie rozwinąć i powinna ona zostać oznaczona jako nierozstrzygnięta, zamiast zgadywana.

Jak metoda radzi sobie z tym samym akronimem oznaczającym różne rzeczy w różnych miejscach?

Jest to podproblem dysambiguacji skrótów. Systemy oparte na regułach, które polegają na najbliższym oknie definicji, radzą sobie z tym słabo, gdy pojawia się wiele definicji. Podejścia oparte na transformatorach, które kodują otaczający kontekst dla każdego wystąpienia, radzą sobie z tym lepiej, ale dokładność dysambiguacji nadal spada, gdy kontekst jest rzadki lub techniczny.

Czy wstępnie zbudowany słownik skrótów jest konieczny?

Nie ściśle — algorytm Schwartz–Hearst ekstrahuje pary definicji z kontekstu wewnątrz dokumentu bez słownika. Jednak domenowy słownik przyspiesza proces, obsługuje niedostatecznie zdefiniowane skróty, których autor nigdy nie rozwija w tekście, i zmniejsza niejednoznaczność. W przypadku tekstów klinicznych zasoby takie jak UMLS lub ADAM pełnią tę rolę.

Czy metoda działa w różnych językach?

Tak, ale heurystyki dopasowywania wzorców i wszelkie towarzyszące im słowniki muszą być dostosowane do języka docelowego. Większość opublikowanych prac dotyczy języka angielskiego; rozszerzenie na inne języki zazwyczaj wymaga specyficznych dla języka reguł i oznakowanych korpusów do trenowania lub oceny.

Pokrewne metody

Źródła

  1. Schwartz, A.S. & Hearst, M.A. (2003). A Simple Algorithm for Identifying Abbreviation Definitions in Biomedical Text. Pacific Symposium on Biocomputing (PSB), 8, 451-462.

    Otwórz odnośnik do publikacji
    Skopiowano.
  2. Veyseh, A.P.B. et al. (2022). MACRONYM: A Large-Scale Dataset for Macroeconomic Acronym Understanding. Findings of NAACL 2022.

    Otwórz odnośnik do publikacji
    Skopiowano.