Metin İçerme — Doğal Dil Çıkarımı (NLI)
- Tür
- NLP sentence-pair classification task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Metin içerme, doğal dil çıkarımı (NLI) olarak da bilinir, bir metin parçasının (öncül) ikinci bir metin parçasını (hipotez) içerip içermediğine, onu çelişip çelişmediğine veya ona karşı tarafsız olup olmadığına karar veren doğal dil işleme görevidir.
PASCAL Metin İçermeyi Tanıma Yarışması (Dagan, Glickman & Magnini, 2006) tarafından biçimlendirilmiş ve MultiNLI veri kümesi (Williams, Nangia & Bowman, 2018) tarafından genişletilmiş olup, soru yanıtlama ve olgu doğrulama işlem hatlarının temelini oluşturur.
Yöntemin mantığı
İki cümle farklı mantıksal ilişkiler içinde bulunabilir: birincisini kabul ederseniz, ikincisi otomatik olarak takip edebilir, açıkça çelişebilir veya basitçe ilgisiz olabilir. Metin içerme, bir makineye bu yargıyı vermeyi öğretir — bir öncül ve bir hipotez verildiğinde, hipotezin içerilip içerilmediğine, çelişip çelişmediğine veya hiçbirine karar verir. Bu üçlü karar, aday bir cevabın kaynak metin tarafından desteklenip desteklenmediğini veya bir iddianın kanıtlarla desteklenip desteklenmediğini kontrol etmenin yapı taşıdır.
Tarih
Metin içerme, içerme tanıma işlemini NLP uygulamaları arasında kesen genel bir anlamsal problem olarak çerçeveleyen PASCAL Metin İçermeyi Tanıma Yarışması (Dagan, Glickman & Magnini, 2006) tarafından paylaşılan bir görev olarak kurulmuştur. MultiNLI veri kümesi (Williams, Nangia & Bowman, 2018) daha sonra geniş kapsamlı, çok türde eğitim verisi sağlamış ve günümüzün soru yanıtlama ve olgu kontrol sistemlerini yönlendiren büyük önceden eğitilmiş NLI modellerini mümkün kılmıştır.
Ne zaman kullanılır?
Verileriniz öncül-hipotez metin çiftlerinden oluştuğunda ve aralarındaki mantıksal ilişkiyi yargılamanız gerektiğinde — tipik olarak bir soru yanıtlama veya olgu doğrulama zinciri içinde — metin içermeyi kullanın. En az birkaç düzine çift bekler ve hedef dil için mevcut olan büyük bir önceden eğitilmiş dil modeliyle en iyi şekilde çalışır. Yalnızca eşleştirilmiş metin yerine izole belgeleriniz varsa, bu görev geçerli değildir.
Sınırlar ve dikkat edilmesi gerekenler
- Öncül-hipotez çiftleri olarak organize edilmiş metin gerektirir; izole belgeler yeterli değildir.
- Kalite, büyük bir önceden eğitilmiş dil modelinin kullanılabilirliğine ve dil kapsamına büyük ölçüde bağlıdır.
- İnce veya alana özgü çıkarımlar zor kalır ve tarafsız sınıf genellikle en çok hata üreten sınıftır.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Tek bir benzerlik puanı yerine ilkeli bir üçlü karar (içerme / çelişme / tarafsızlık) sağlar.
- Doğrudan aşağı akış soru yanıtlama ve olgu doğrulama işlem hatlarını destekler.
- Göreve özgü etiketlenmiş eğitim verisi olmadan, büyük bir önceden eğitilmiş NLI modeliyle sıfır-çekim (zero-shot) olarak çalıştırılabilir.
Uygulama alanları
- Soru yanıtlama — bir aday cevabın bir kaynak pasaj tarafından içerilip içerilmediğini kontrol etme.
- Olgu doğrulama — bir iddianın kanıt metni tarafından desteklenip desteklenmediğine veya çelişip çelişmediğine karar verme.
- Belgeler ve özetler arasında bilgi tutarlılığı kontrolleri.
- Aday etiketli içerme yoluyla sıfır-çekim metin sınıflandırması için temel motor görevi görme.
Nasıl çalışır?
Nasıl çalışır?
Girdi, öncül-hipotez çiftleri halinde düzenlenir. Her örnek, öncül metin ile, öncüle göre ilişkisinin yargılanması gereken bir hipotez metnini birleştirir; soru yanıtlama ve olgu doğrulama işlemlerinde bu çiftler bir kaynak pasaj ve bir aday iddia veya cevaptan oluşturulur.
Büyük bir önceden eğitilmiş dil modeli çifti okur ve bunu öncül ve hipotezin anlamını birlikte yakalayan bağlamsal bir temsile dönüştürür. Görev ince mantıksal ilişkilere bağlı olduğundan, güçlü bir önceden eğitilmiş model, elle oluşturulmuş özelliklere tercih edilir.
Model çifte üç etiketten birini atar — içerme, çelişme veya tarafsızlık. Yaygın bir pratik uygulama, öncülü bir aday etiket olarak kullanır ve ilişkiyi puanlamak için sıfır-çekim (zero-shot) bir içerme sınıflandırıcısı (örneğin MNLI üzerinde ince ayarlanmış bir BART modeli) çalıştırır.
Tahminler, etiketlenmiş çiftlere karşı doğruluk ve sınıfa özel metrikler kullanılarak puanlanır ve dağıtımdan önce anlaşmazlıklar incelenir. Üç sınıf dengesiz dağılımlı olabileceğinden, sınıfa özel kesinlik (precision) ve duyarlılık (recall) genel doğruluk kadar önemlidir.
Sık yapılan hatalar
- İçermeyi yalnızca yüzey benzerliği ile karıştırmak — iki cümle kelimeleri paylaşabilir ancak birbirini çelişebilir.
- Bir dil veya alan için önceden eğitilmiş bir modeli başka birine uygulamak çıkarım yargısını düşürür.
- Üç sınıf dengesiz olduğunda yalnızca genel doğruluğu bildirmek; sınıfa özel kesinlik ve duyarlılığı inceleyin.
- Görevi önerilen ~30 çiftten daha azıyla çalıştırmak, herhangi bir değerlendirmeyi güvenilmez hale getirir.
Sık sorulan sorular
İçerme, çelişme ve tarafsızlık arasındaki fark nedir?
Bir öncül verildiğinde, hipotez, öncülü kabul etmek hipotezin takip ettiği anlamına geliyorsa içerme, hipotez doğru olamazsa çelişme ve öncül hipotezi ne destekler ne de dışarıda bırakırsa tarafsız olarak etiketlenir — öncül hipotezi ne destekler ne de dışarıda bırakır.
Metin içerme, cümle benzerliğinden nasıl farklıdır?
Benzerlik, iki cümlenin ne kadar benzediğini ölçer, bu simetrik ve derecelidir. İçerme yönlü, mantıksal bir ilişkidir: bir öncül, tersi geçerli olmadan bir hipotezi içerebilir ve iki yüksek derecede benzer cümle hala birbirini çelişebilir.
Etiketlenmiş eğitim verisine ihtiyacım var mı?
Zorunlu değil. Büyük bir önceden eğitilmiş NLI modeliyle görevi sıfır-çekim (zero-shot) olarak çalıştırabilirsiniz — örneğin öncülü bir aday etiket olarak kullanıp hipotezi puanlayarak — ancak az sayıda etiketlenmiş öncül-hipotez çifti değerlendirme ve alan uyarlaması için yardımcı olur.
Neden olgu doğrulama ve soru yanıtlama için kullanılır?
Her iki görev de bir metin parçasının bir kaynak tarafından desteklenip desteklenmediğini kontrol etmeye indirgenir. İçerme tam olarak bu yargıyı verir, bu nedenle bir iddia veya aday cevap, kaynak onu içerdiğinde kabul edilebilir ve kaynak onu çeliştiğinde reddedilebilir.
İlgili yöntemler
Kaynaklar
Dagan, I., Glickman, O. & Magnini, B. (2006). The PASCAL Recognising Textual Entailment Challenge.
Yayın kaynağını açKopyalandı.Williams, A., Nangia, N. & Bowman, S. (2018). A Broad-Coverage Challenge Corpus for Sentence Understanding through Inference. NAACL.
Yayın kaynağını açKopyalandı.