İçeriğe atla
Arama sonuçlarına dön

Koreferans Çözümlemesi

Ortaya koyan
Hobbs (1978); Lee et al. (2017, neural end-to-end)
Yıl
1978
Tür
NLP information-extraction task

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Koreferans çözümlemesi, bir metindeki farklı ifadelerin aynı varlığa —örneğin bir ismin, sonraki bir zamirin ve bir tanımlayıcı ifadenin hepsinin tek bir kişiyi işaret etmesi— atıfta bulunup bulunmadığını tespit eden bir doğal dil işleme görevidir.

Hobbs'un (1978) erken dilbilimsel çalışmalarına dayanan ve Lee ve diğerlerinin (2017) uçtan uca sinirsel modeliyle geliştirilen bu yöntem, bilgi çıkarma ve metin anlama kalitesini artırır.

Yöntemin mantığı

Okuduğumuzda, "o", "yazar" ve "Marie Curie"nin hepsinin aynı kişi olabileceğini otomatik olarak biliriz. Bir makine bilmez. Koreferans çözümlemesi, bir sisteme bu bağlantıları kurmayı öğretir: bir varlığa (bir bahse) işaret edebilecek her ifadeyi tespit eder, hangi bahislerin aynı şeye işaret ettiğine karar verir ve geri kalan boru hattının metni bir insanın okuduğu gibi okuması için bunları gruplandırır.

Tarih

Koreferans çözümlemesi, özellikle Hobbs (1978) tarafından zamir referanslarının sözdizimsel yapı üzerinde nasıl çözülebileceğini biçimlendiren erken hesaplamalı dilbilimden doğmuştur. Alan daha sonra bu tür kural tabanlı ve özellik tabanlı sistemlerden öğrenilmiş modellere doğru ilerledi; Lee ve diğerleri (2017) ise ara adımlardan oluşan elle oluşturulmuş bir boru hattı olmadan bahisleri ve bağlantılarını doğrudan puanlayan uçtan uca bir sinirsel yaklaşım sundu.

Ne zaman kullanılır?

Koreferans çözümlemesi, İngilizce veya desteklenen başka bir dilde metniniz olduğunda ve bir belge boyunca varlıkları izlemek istediğinizde —tipik olarak bilgi çıkarma veya daha derin metin anlama için bir yapı taşı olarak— uygundur. Öncesinde bir NER geçişi yardımcı olur. Amacı gereği açıklayıcı ve izah edicidir ve anlamlı olması için en azından mütevazı miktarda metin (yaklaşık 20 birim) gerektirir; metin verisi olmadan çalışamaz.

Sınırlar ve dikkat edilmesi gerekenler

  • Yalnızca İngilizce veya desteklenen diğer diller için çalışır; bunların dışındaki kapsama alanı sınırlıdır.
  • Doğruluk, güvenilir yukarı akış adımlarına bağlıdır — zayıf bahse dayalı tespit veya eksik NER kümeleri bozar.
  • Belirsiz veya uzun mesafeli referanslar zor kalır, bu nedenle bazı bağlantılar yanlış olacaktır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Dağınık bahisleri — isimleri, zamirleri ve tanımlayıcı ifadeleri — tek bir varlığa geri bağlayarak bilgi çıkarmayı keskinleştirir.
  • Kim veya neyin her ifadeye atıfta bulunduğunu çözümleyerek sonraki metin anlama görevlerinin kalitesini artırır.
  • Hem kural tabanlı dilsel yaklaşımları hem de modern uçtan uca sinirsel modelleri destekler.

Uygulama alanları

  • Bilgi çıkarma — bir belge boyunca bir varlığa yapılan tüm referansları birleştirme.
  • Zamirleri referanslarına çözümleyerek soru yanıtlama ve okuduğunu anlama yeteneğini geliştirme.
  • Metinden bilgi grafikleri ve varlık merkezli özetler oluşturma.
  • Sağlık, sosyal, ekonomik, mühendislik ve işletme araştırmaları veri kümelerindeki sonraki analizler için metni temizleme.

Nasıl çalışır?

Nasıl çalışır?

1

Metin analize hazırlanır: cümlelere ve belirteçlere ayrılır ve destekleyici dil boru hattından geçirilir. Adlandırılmış varlık tanıma (NER) adımı burada faydalı bir öncüldür, çünkü varlıkların nerede bulunduğunu bilmek sonraki bahse dayalı tespiti daha güvenilir hale getirir.

2

Aday bahisler — varlıklara atıfta bulunabilecek metin dilimleri, örneğin özel isimler, isim tamlamaları ve zamirler — belirlenir. Bu, yöntemin referanslarını bulması gereken ifadeler kümesini üretir.

3

Aday bahislerin her çifti için sistem, aynı varlığa atıfta bulunup bulunmadıklarına karar verir. Klasik yaklaşımlar sözdizimi ve yakınlık üzerinde dilbilimsel kurallar uygular; sinirsel uçtan uca modeller ise öğrenilmiş temsillerden doğrudan bahis çiftlerini puanlar.

4

İkili bağlantılar kümelere çözülür: aynı varlığa işaret ettiği judged edilen her bahis birlikte gruplandırılır. Her küme tek bir gerçek dünya varlığını temsil eder ve sonraki görevler artık "o", "yazar" ve orijinal adı tek bir referans olarak ele alabilir.

Sık yapılan hatalar

  • Bir NER veya bahse dayalı tespit adımını atlamak, bağlayıcının zayıf adaylardan çalışmasına neden olur ve gürültülü kümeler üretir.
  • Bir dil için oluşturulmuş bir modeli başka bir desteklenen dile uygulamak, doğruluğu sessizce düşürür.
  • Her ikili bağlantıyı kesin olarak kabul etmek — belirsiz zamirler ve uzak öncüller yaygın hata kaynaklarıdır ve incelenmelidir.

Sık sorulan sorular

Koreferans çözümlemesi ile adlandırılmış varlık tanıma arasındaki fark nedir?

NER, metindeki varlık bahislerini (kişiler veya kuruluşlar gibi) bulur ve etiketler. Koreferans çözümlemesi, bu bahislerden hangilerinin —artı zamirler ve tanımlayıcı ifadeler— aynı gerçek dünya varlığına atıfta bulunduğuna karar vererek ve bunları kümelere gruplandırarak bir adım daha ileri gider. NER genellikle koreferans için faydalı bir öncüldür.

Önce bir NER adımına ihtiyacım var mı?

Kesinlikle gerekli değildir, ancak bir NER geçişi faydalı bir öncüldür: varlıkların nerede bulunduğunu bilmek, bahse dayalı tespiti ve sonuçta ortaya çıkan kümeleri daha güvenilir hale getirir.

İngilizce dışındaki dillerde çalışıyor mu?

İngilizce veya desteklenen diğer diller için çalışır. Modellerinizin desteklediği diller dışındaki kapsama alanı sınırlıdır, bu nedenle seçilen model metninizin diliyle eşleşmelidir.

Kural tabanlı mı yoksa sinirsel mi — hangi yaklaşımı kullanmalıyım?

Hobbs (1978) geleneğindeki kural tabanlı yöntemler, sözdizimi ve yakınlık üzerinde şeffaf olan dilbilimsel kurallar uygular. Lee ve diğerleri (2017) gibi uçtan uca sinirsel modeller, bahisleri ve bağlantılarını doğrudan puanlamayı öğrenir ve genellikle daha yüksek hesaplama maliyetiyle daha zor durumları daha iyi ele alır.

İlgili yöntemler

Kaynaklar

  1. Lee, K. et al. (2017). End-to-end Neural Coreference Resolution. EMNLP.

    Yayın kaynağını aç
    Kopyalandı.
  2. Hobbs, J.R. (1978). Resolving Pronoun References. Lingua, 44(4), 311-338.

    DOI kaynağını aç
    Kopyalandı.