Bilgi Çıkarımı — Metni Yapılandırılmış Kayıtlara Dönüştürme
- Tür
- NLP structured-information task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Bilgi çıkarımı (BC), yapılandırılmamış metni olaylar, ilişkiler ve öznitelikler gibi yapılandırılmış bilgilere dönüştüren bir doğal dil işleme görevidir; böylece serbest biçimli belgelerde gömülü gerçekler makine tarafından okunabilir kayıtlara dönüşür.
Görev, Cowie ve Lehnert (1996) tarafından yapılan erken derlemelerle ve daha sonra Grishman (2012) tarafından pekiştirilmiştir.
Yöntemin mantığı
Bir belge, serbest biçimli bir dilde bir hikaye anlatır, ancak bir veritabanının düzgün satırlara ve alanlara ihtiyacı vardır. Bilgi çıkarımı, bir analistin kim, ne ve ne zaman sorularını vurgulayacağı gibi metni okur, ardından bu vurguları sabit bir şemaya yazar. Gerçekleri düzyazı içinde kapana kısılmış bırakmak yerine, yöntem varlıkları ve aralarındaki ilişkileri çıkarır ve sorgulanabilir yapılandırılmış kayıtlar olarak düzenler.
Tarih
Bilgi çıkarımı, serbest metinden yapılandırılmış gerçekleri çekme hedefini pekiştiren Cowie ve Lehnert (1996) tarafından yapılan derlemelerde ayrı bir NLP görevi olarak çerçevelenmiş ve daha sonra Doğal Dil İşleme El Kitabı'nda Grishman (2012) tarafından yeniden ele alınmıştır. Görev, varlıkları, ilişkileri ve olayları bulmak için el yapımı kalıp kurallarından istatistiksel ve öğrenilmiş modellere doğru büyümüştür.
Ne zaman kullanılır?
Bilgi çıkarımı, metin verileriniz olduğunda ve bunları olaylar, ilişkiler veya öznitelikler hakkında yapılandırılmış kayıtlara dönüştürmeniz gerektiğinde ve çıkarılacakları tanımlayan alan özelinde bir ontoloji tanımlayabildiğinizde uygundur. Makul miktarda metin yardımcı olur — yöntem en az elli belge civarında bir hacim bekler. Metin verisi olmadan veya bir gerçeğin ne olduğunu belirleyen üzerinde anlaşılmış bir şema olmadan BC çalışamaz.
Sınırlar ve dikkat edilmesi gerekenler
- Çıkarım başlamadan önce açıkça tanımlanmış alan özelinde bir ontoloji gerektirir.
- Yeterli miktarda metin verisine ihtiyaç duyar; çok küçük derlemler çok az sinyal verir.
- Çıkarım kalitesi, şema ve kalıpların derlemin diline ne kadar iyi uyduğuna büyük ölçüde bağlıdır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Yapılandırılmamış metni olaylar, ilişkiler ve öznitelikler hakkında yapılandırılmış, sorgulanabilir kayıtlara dönüştürür.
- Şema güdümlü: ontoloji, aynı işlem hattının farklı alanlara yeniden hedeflenmesine izin verir.
- Kural tabanlı kalıp eşleştirmeyi ve eğitilmiş modelleri birleştirir, böylece mevcut verilere ve kaynaklara uyum sağlar.
Uygulama alanları
- Büyük belge koleksiyonlarından yapılandırılmış bilgi tabanları oluşturma.
- Haber veya rapor arşivlerinden olayları ve katılımcılarını çıkarma.
- Sağlık, sosyal bilimler, ekonomi ve işletme alanlarındaki metinlerden ilişkileri ve öznitelikleri yakalama.
- Yapılandırılmamış belgelerden çıkarılan gerçeklerle veritabanlarını doldurma.
Nasıl çalışır?
Nasıl çalışır?
Öncelikle alan özelinde bir ontoloji veya şema tanımlanır: sistemin arayacağı varlık türleri, ilişkiler, olaylar ve öznitelikler. BC yalnızca şemanın tanımladığını çıkardığı için, bu adım belirli bir alanda yakalanmaya değer bir gerçeğin ne olduğunu belirler.
Ham metin temizlenir ve analiz edilebilir birimlere — cümleler ve belirteçler — ayrılır, böylece çıkarım kalıpları ve modeller tutarlı girdi üzerinde çalışır. Bu normalleştirme olmadan sonraki eşleştirme güvenilmez hale gelir.
Metindeki varlıklar, ilişkiler, olaylar ve öznitelikler bulunur. Bu, dilbilimsel yapı üzerindeki kalıp eşleştirme kuralları, eğitilmiş modeller veya her ikisinin bir kombinasyonu ile yapılır; her biri ontolojide tanımlanan öğeleri tespit eder.
Çıkarılan öğeler, şemaya uyan yapılandırılmış kayıtlara dönüştürülür — bir olayın yuvalarını doldurarak, bir ilişkinin katılımcılarını bağlayarak veya bir varlığa öznitelikler ekleyerek. Sonuç, orijinal yapılandırılmamış metinden çekilen makine tarafından okunabilir yapılandırılmış bilgidir.
Sık yapılan hatalar
- Ontoloji tasarımını atlamak — tanımlanmış bir şema olmadan sistemin bir hedefi olmaz ve tutarsız veya anlamsız kayıtlar çıkarır.
- Bir alan için oluşturulan kalıpları veya modelleri başka bir alana uygulamak, çıkarım doğruluğunu düşürür.
- Ön işlemeyi ihmal etmek, sonraki eşleştirmeyi bozan gürültülü belirteçler ve bozuk cümle sınırları bırakır.
- Çok az metin üzerinde çalıştırmak (elli belgenin oldukça altında) kalıpların veya modellerin güvenilir bir şekilde çalışması için çok az örnek verir.
Sık sorulan sorular
Bilgi çıkarımı, adlandırılmış varlık tanımadan nasıl farklıdır?
Adlandırılmış varlık tanıma yalnızca kişi, yer ve kuruluş gibi varlıkları bulur ve etiketler. Bilgi çıkarımı daha geniştir: aynı zamanda bu varlıklar arasındaki ilişkileri, katıldıkları olayları ve özniteliklerini belirler ve tüm bunları bir şemayı izleyen yapılandırılmış kayıtlara dönüştürür.
Neden çalıştırmadan önce bir ontolojiye ihtiyacım var?
Ontoloji veya şema, belirli bir alandaki gerçeğin ne olduğunu — hangi varlık türleri, ilişkiler, olaylar ve öznitelikler aranacağını — tam olarak tanımlar. Bilgi çıkarımı yalnızca şemanın tanımladığını yakalar, bu nedenle bir tane olmadan sistemin bir hedefi olmaz ve tutarsız çıktılar üretir.
Etiketlenmiş eğitim verisine ihtiyacım var mı?
Yaklaşıma bağlıdır. Kalıp veya kural tabanlı çıkarım, dilbilimsel yapı üzerinde çalışır ve etiketlenmiş örnekler olmadan çalışabilirken, eğitilmiş modeller ek açıklamalı verilerden öğrenir. Birçok sistem her ikisini birleştirir, bu nedenle ihtiyacınız olan veri seçtiğiniz yönteme göre değişir.
Ne kadar metne ihtiyacım var?
Bilgi çıkarımı makul miktarda metin — en az elli belge civarında bir hacim — bekler. Çok daha azıyla, kalıplar ve modellerin güvenilir bir şekilde çıkarım yapması için yeterli örneği olmaz.
İlgili yöntemler
Kaynaklar
Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.
DOI kaynağını açKopyalandı.Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.
ISBN: 9781420085921Kopyalandı.