İçeriğe atla
Arama sonuçlarına dön

Adlandırılmış Varlık Tanıma (AVT)

Tür
NLP sequence-labelling task

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Adlandırılmış varlık tanıma (AVT), metinlerdeki kişi, kuruluş, yer ve tarih gibi varlıkları otomatik olarak algılayan ve etiketleyen bir doğal dil işleme görevidir.

Nadeau ve Sekine (2007) tarafından incelenen ve daha sonra Lample ve arkadaşları (2016) tarafından sinirsel mimarilerle geliştirilen bu yöntem, serbest metni aşağı akış araçlarının kullanabileceği etiketlenmiş dilimlere dönüştürür.

Yöntemin mantığı

Bir belge, sıradan nesirde isimleri, yerleri ve tarihleri belirtir, ancak bir makine yalnızca bir kelime akışı görür. AVT'nin amacı, gerçek dünya varlıklarına atıfta bulunan dilimleri bulmak ve her birine doğru tür etiketini eklemektir. Bir kişinin elle isimleri okuyup vurgulaması yerine, yöntem metni tarar, hangi kelimelerin bir varlığı oluşturduğuna karar verir ve onu kişi, kuruluş, yer, tarih vb. olarak etiketler.

Tarih

Adlandırılmış varlık tanıma, kural tabanlı ve özellik tabanlı yöntemleri gözden geçiren Nadeau ve Sekine (2007) tarafından yapılan incelemede bir görev olarak pekiştirildi. NAACL'deki Lample ve arkadaşları (2016) tarafından yapılan çalışma, daha sonra NER için sinirsel mimariler sundu ve alanı el yapımı özelliklere dayanmak yerine bağlamsal temsilleri öğrenen dizi etiketleme modellerine doğru yönlendirdi.

Ne zaman kullanılır?

AVT, metin verileriniz ve bu metnin dilini destekleyen bir dil modeliniz olduğunda, önce ön işleme uygulandığında uygundur. Makul miktarda metin gereklidir; çok küçük bir derlemle model zayıf performans gösterir ve basit kural tabanlı anahtar kelime çıkarma daha güvenli bir seçenektir. Hiç metin verisi yoksa, AVT çalışamaz ve bunun yerine yapılandırılmış içeriği analiz etmelisiniz.

Sınırlar ve dikkat edilmesi gerekenler

  • Küçük bir derlemde model performansı düşer ve basit kural tabanlı anahtar kelime çıkarma daha iyi seçenek haline gelir.
  • Performans, dil modelinin metnin hedef dilini desteklemesine bağlıdır.
  • Ön işleme gerektirir; temiz belirteçleme olmadan varlık sınırları güvenilmez bir şekilde tespit edilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yapılandırılmamış metni, aşağı akış görevlerinin tüketebileceği yapılandırılmış, türlere ayrılmış varlık dilimlerine dönüştürür.
  • Küçük problemler için kural tabanlı eşleştirme, büyük problemler için sinir dizisi etiketleme gibi birden fazla yaklaşımı kapsar.
  • Metin üzerinde tek bir geçişte birden fazla varlık sınıfını — kişiler, kuruluşlar, yerler, tarihler — tanımlar.

Uygulama alanları

  • İndeksleme için haber ve raporlardan kişi, kuruluş ve yerleri çıkarmak.
  • Yapılandırılmış kayıtlar için klinik veya biyomedikal metindeki adlandırılmış varlıkları tanımlamak.
  • Büyük belge koleksiyonlarından şirket, yer ve tarih bahsedilmelerini madencilik yapmak.
  • Etiketlenmiş varlıkları aşağı akış bilgi ve ilişki çıkarma işlem hatlarına beslemek.

Nasıl çalışır?

Nasıl çalışır?

1

Varlık sınırlarının tutarlı bir şekilde tespit edilebilmesi için ham metin temizlenir ve analiz edilebilir birimlere ayrılır — cümleler bölünür ve kelimeler belirteçlenir. Seçilen dil modeli, bunun çalışması için hedef dili desteklemelidir.

2

Her belirteç, modelin okuyabileceği özelliklere dönüştürülür. Yaklaşıma bağlı olarak bu, el yazımı kurallar ve sözlükler, klasik özellik vektörleri veya bir sinir modelinden gelen bağlamsal gömme anlamına gelir — her biri etiketleyiciye bir varlığı tanımak için ihtiyaç duyduğu sinyali verir.

3

Model, her belirteç dilimine bir varlık türü etiketi atar. Kural tabanlı bir yaklaşım kalıpları ve sözlükleri eşleştirir, bir makine öğrenimi yaklaşımı eğitilmiş bir dizi etiketleyici kullanır ve bir sinir yaklaşımı bağlamı yakalayan bir mimari uygular. Çıktı, kişi, kuruluş, yer ve tarih gibi türlerle etiketlenmiş metin dilimlerinden oluşan bir kümedir.

4

Etiketlenmiş dilimler, kesinlik, duyarlılık ve F1 kullanılarak etiketlenmiş verilere karşı puanlanır ve model güvenilmeden önce yanlış veya eksik varlıklar incelenir. Bu, bütün bir varlık sınıfını sessizce kaçıran bir etiketleyiciye güvenilmesini önler.

Sık yapılan hatalar

  • AVT'yi küçük bir derlemde (yaklaşık 100 belgenin altında) modelin yetersiz performans gösterdiği yerde çalıştırmak — bunun yerine kural tabanlı anahtar kelime çıkarmaya geri dönün.
  • Derlem dilini desteklemeyen bir model uygulamak, tanımayı bozar.
  • Gürültülü veya kötü belirlenmiş metnin varlık sınırlarını bozması için ön işlemeyi atlamak.
  • Etiketleyiciyi yalnızca doğruluk açısından değerlendirmek, tüm bir varlık sınıfının kaçırıldığı durumlarda; kesinlik, duyarlılık ve F1'i rapor edin ve kaçırılan varlıkları inceleyin.

Sık sorulan sorular

Kural tabanlı, makine öğrenimi veya sinirsel — hangi yaklaşımı kullanmalıyım?

Kural tabanlı bir yaklaşım, kalıpları ve sözlükleri eşleştirir ve etiketlenmiş veriye ihtiyaç duymadan küçük problemler üzerinde çalışır. Bir makine öğrenimi dizisi etiketleyici, etiketlenmiş örneklerden öğrenir ve alanınıza uyum sağlar. Bir sinir yaklaşımı, bağlamsal mimarileri kullanır ve genellikle büyük derlemlerde daha iyi performans gösterir, ancak daha yüksek hesaplama maliyetiyle.

Derlemim çok küçükse ne olur?

Küçük bir derlemde (kabaca 100 belgenin altında) AVT modelinin performansı düşer. Bu durumda, tam bir varlık tanıma modeli yerine daha basit bir kural tabanlı anahtar kelime çıkarma yaklaşımı tercih edilir.

AVT İngilizce dışındaki dillerde çalışır mı?

Evet, ancak seçilen dil modelinin metnin hedef dilini desteklemesi gerekir. Derlem dilini kapsamayan bir model, kötü tanınmanın yaygın bir nedenidir.

AVT nasıl değerlendirilir?

Etiketlenmiş dilimler, kesinlik, duyarlılık ve F1 kullanılarak etiketlenmiş verilerle karşılaştırılır. Kaçırılan ve yanlış varlıkları incelemek önemlidir, çünkü bir etiketleyici, genel olarak doğru görünürken tüm bir varlık sınıfını tespit etmeyi sessizce kaçırabilir.

İlgili yöntemler

Kaynaklar

  1. Nadeau, D. & Sekine, S. (2007). A survey of named entity recognition. Lingvisticae Investigationes.

    Yayın kaynağını aç
    Kopyalandı.
  2. Lample, G. et al. (2016). Neural Architectures for Named Entity Recognition. NAACL.

    DOI kaynağını aç
    Kopyalandı.