İçeriğe atla
Arama sonuçlarına dön

Yazım ve Dilbilgisi Denetimi — Otomatik Metin Düzeltme

Ortaya koyan
Daniel Naber (rule-based checker); Peter Norvig (statistical spelling correction)
Yıl
2003
Tür
Text-mining preprocessing / quality-assessment task

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Yazım ve dilbilgisi denetimi, metindeki yazım hatalarını ve dilbilgisi kusurlarını tespit edip düzeltme önerileri sunan bir metin madenciliği görevidir.

Naber'in kural tabanlı stil ve dilbilgisi denetleyicisinden (2003) ve Norvig'in istatistiksel yazım denetleyicisinden (2009) yararlanan bu yöntem, daha ileri analizler öncesinde veri kalitesi değerlendirmesi ve metin normalizasyonu için kullanılır.

Yöntemin mantığı

Metni okuduğunuzda, yanlış yazılmış bir kelimeyi veya bozuk bir cümleyi içgüdüsel olarak fark eder ve nasıl düzelteceğinizi bilirsiniz. Otomatik bir denetleyici, bu yargıyı ölçekte taklit eder: her kelimeyi bir sözlük veya dil modeliyle karşılaştırarak yanlış görünenleri işaretler ve ardından en olası değiştirmeyi sunar. Bir derlemi elle düzeltmek yerine, işlem hattının aday hataları ve önerilen düzeltmeleri sizin onaylamanız için yüzeye çıkarmasına izin verirsiniz.

Tarih

Otomatik düzeltmenin iki tamamlayıcı kökeni vardır. Naber (2003), yapılandırılabilir desenleri metinle eşleştiren kural tabanlı bir stil ve dilbilgisi denetleyicisini biçimlendirmiştir; bu yaklaşım yaygın olarak kullanılan açık dilbilgisi denetleme araçlarına dönüşmüştür. Norvig (2009), aday kelimeleri olasılık ve düzenleme mesafesine göre sıralayan kompakt bir istatistiksel yazım denetleyicisini popülerleştirmiştir. Birlikte, alanın iki ana stratejisini — açık kurallar ve olasılıksal dil modelleri — çerçevelerler.

Ne zaman kullanılır?

Hedef dil için bir sözlük veya dil modeli mevcut olduğunda yazım ve dilbilgisi denetimi kullanın. Veri kalitesini değerlendirmek ve aşağı akış analizi öncesinde metni normalleştirmek için çok uygundur ve küçük bir derlemde (yaklaşık on belgeden başlayarak) çalışır. Hedef dil için bir kaynağın mevcut olduğunu varsayar; performans dile göre keskin bir şekilde değişir ve düşük kaynaklı diller için sınırlıdır.

Sınırlar ve dikkat edilmesi gerekenler

  • Hedef dil için bir sözlük veya dil modeli gerektirir.
  • Bağlama bağlı hatalar kural tabanlı yöntemlerle yakalanamaz ve bir dil modeli gerektirir.
  • Performans dile göre büyük ölçüde değişir ve düşük kaynaklı diller için sınırlıdır.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Herhangi bir aşağı akış analizinden önce metin kalitesini iyileştiren basit, tanıtıcı bir teknik.
  • Yalnızca sorunları işaretlemek yerine hataları tespit eder ve somut düzeltmeler önerir.
  • Tek bir geçişte hem veri kalitesi değerlendirmesi hem de metin normalizasyonu için kullanışlıdır.

Uygulama alanları

  • Analizden önce bir metin derleminin kalitesini değerlendirmek.
  • Aşağı akış metin madenciliğinin daha temiz girdi alması için serbest metin alanlarını normalleştirmek.
  • Belgeleri, anket yanıtlarını veya kullanıcı tarafından oluşturulan içeriği ölçekte düzeltmek.
  • Beşeri bilimler, sosyal bilimler ve işletme alanlarında araştırma için toplanan gürültülü metinleri temizlemek.

Nasıl çalışır?

Nasıl çalışır?

1

Metin, analiz edilebilir birimlere — kelimeler, noktalama işaretleri ve cümleler — ayrılır. Temiz belirteçleme (tokenization), denetleyicinin her kelimeyi izole edilmiş olarak ve her cümleyi bağlam içinde incelemesini sağlar.

2

Her belirteç (token) hatalar açısından kontrol edilir. Bir sözlük veya yazım modeli tanınmayan kelimeleri işaretlerken, kural tabanlı desenler uyum veya kelime sırası sorunları gibi dilbilgisi hatalarını yakalar. Bağlama bağlı hatalar kural tabanlı yöntemler için zordur ve bir dil modeli gerektirebilir.

3

İşaretlenen her öğe için denetleyici, aday değiştirmeleri ne kadar olası olduklarına göre sıralayarak düzeltmeler önerir — örneğin bilinen kelimelere olan düzenleme mesafesine veya bir dil modelinin o pozisyonda ne beklediğine göre.

4

İşaretlenen hatalar ve önerileri onay için sunulur ve kabul edilen düzeltmeler, normalleştirilmiş, daha temiz metin üretmek üzere uygulanır. Bu insan-in-the-loop (döngüdeki insan) adımı, geçerli ancak sıra dışı ifadelerin aşırı düzeltilmesini önler.

Sık yapılan hatalar

  • Bağlama bağlı hatalar (doğru yazılmış ama yanlış kelime) kural tabanlı denetleyicileri atlar; bunları yakalamak için bir dil modeli gereklidir.
  • Bir dil için oluşturulmuş bir denetleyiciyi başka bir dildeki metne uygulamak güvenilmez sonuçlar verir — sözlüğü veya modeli derlem diline uydurun.
  • Her öneriyi körü körüne kabul etmek, geçerli isimleri, jargonu veya sıra dışı ama kasıtlı ifadeleri aşırı düzeltebilir.
  • Düşük kaynaklı bir dilde güçlü sonuçlar beklemek, çünkü sözlükler ve modeller seyrektir.

Sık sorulan sorular

Yazım denetimi ile dilbilgisi denetimi arasındaki fark nedir?

Yazım denetimi, her kelimeyi bir sözlük veya yazım modeliyle karşılaştırır ve tanımadığı kelimeleri işaretler. Dilbilgisi denetimi, tipik olarak kurallar veya bir dil modeli kullanarak yapıyı — uyum, kelime sırası ve benzeri desenleri — inceler. İkisi tamamlayıcıdır ve genellikle birlikte çalıştırılır.

Kural tabanlı bir denetleyici her hatayı yakalayabilir mi?

Hayır. Kural tabanlı yöntemler yazım hatalarını ve desen tabanlı dilbilgisi hatalarını iyi bir şekilde ele alır, ancak bağlama bağlı hatalar — cümle için yanlış olan doğru yazılmış bir kelime — tespit etmek için bir dil modeli gerektirir.

Herhangi bir dil için çalışır mı?

Yalnızca o dil için bir sözlük veya dil modeli varsa ve kaynak derlem diline uymalıdır. Performans diller arasında keskin bir şekilde değişir ve düşük kaynaklı olanlar için sınırlıdır.

Önerilen düzeltmeleri otomatik olarak uygulamalı mıyım?

Önce gözden geçirin. Otomatik kabul, geçerli isimleri, teknik terimleri veya kasıtlı olarak sıra dışı ifadeleri aşırı düzeltebilir, bu nedenle insan-in-the-loop onay adımı önerilir.

İlgili yöntemler

Kaynaklar

  1. Naber, D. (2003). A Rule-Based Style and Grammar Checker. Diploma Thesis.

    Yayın kaynağını aç
    Kopyalandı.
  2. Norvig, P. (2009). How to Write a Spelling Corrector.

    Yayın kaynağını aç
    Kopyalandı.