İçeriğe atla
Arama sonuçlarına dön

Metin Normalizasyonu — Gürültülü Metin Standardizasyonu

Tür
NLP preprocessing pipeline

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Metin normalizasyonu, SMS mesajları, sosyal medya gönderileri ve OCR çıktıları gibi gürültülü, kısaltılmış veya yanlış yazılmış metinleri temiz, standartlaştırılmış bir biçime dönüştüren bir Doğal Dil İşleme (NLP) ön işleme hattıdır.

Tutarsız yüzey biçimlerinin belirteçleme, ayrıştırma veya sınıflandırmayı bozmadığından emin olarak, neredeyse her aşağı akış NLP görevi için bir ön koşul adımıdır. Yöntem, Baldwin ve Li (2015) ve Sproat ve Jaitly (2017) aracılığıyla sistematik akademik ilgi görmeye başladı.

Yöntemin mantığı

Temiz gazete metinleri üzerinde eğitilmiş bir makine, 'gr8', 'u' veya 'tmrw'yi 'great', 'you' veya 'tomorrow' kelimeleri olarak tanımaz. Daha derin bir analiz yapılabilmeden önce, ham gürültülü metnin tutarlı bir yüzey biçimine getirilmesi gerekir. Metin normalizasyonu tam olarak bunu yapar: hangi tür gürültünün mevcut olduğunu belirler — kısaltmalar, yazım hataları, argo, emojiler, özel karakterler — ve her standart olmayan belirteci kendi kanonik eşdeğerine dönüştürmek için hedeflenmiş kurallar veya öğrenilmiş modeller uygular, böylece sonraki tüm araçlar tekdüze, öngörülebilir bir kelime dağarcığı görür.

Tarih

Kullanıcı tarafından oluşturulan içerik için metin normalizasyonunun sistematik çalışması, 2000'lerin sonlarında Twitter ve SMS'in araştırma derlemleri olarak yükselişiyle hız kazandı. Baldwin ve Li (2015), normalleştirme stratejilerinin Twitter metni için aşağı akış NLP doğruluğu üzerindeki etkisinin en kapsamlı ampirik analizlerinden birini sundu ve sonraki çalışmaların üzerine inşa ettiği kıyaslamalar oluşturdu. Paralel olarak, Sproat ve Jaitly (2017), metin normalizasyonunu bir diziden-diziye öğrenme problemi olarak çerçeveledi ve sinirsel yaklaşımların benimsenmesini sağlayan zorluk verileri yayınladı. Daha önceki çalışmalar normalleştirmeyi bir yazım düzeltme veya sözlük arama görevi olarak ele almıştı; sinirsel çerçeveleme bu iplikleri birleştirdi ve uçtan uca öğrenilmiş hatlar için kapıyı açtı.

Ne zaman kullanılır?

Kaynak metin, aşağı akış NLP hattının yanlış yorumlayacağı standart olmayan belirteçler içerdiğinde metin normalizasyonu uygulanmalıdır: sosyal medya verileri, SMS derlemleri, OCR ile dijitalleştirilmiş tarihi belgeler ve gayri resmi sohbet günlükleri tipik durumlardır. İki varsayım geçerli olmalıdır: gürültü türü önceden belirlenebilir olmalı ve amaçlanan standart biçim için bir hedef dil sözlüğü veya dil modeli mevcut olmalıdır. Metin zaten temiz ve standart ise, normalizasyon hiçbir fayda sağlamaz ve kasıtlı stilistik seçimleri aşırı düzelterek hatalar getirebilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Gürültü türü hakkında ön bilgi gerektirir: SMS kısaltmaları için tasarlanmış bir kural seti veya model, OCR hataları veya alana özgü argo üzerinde kötü performans gösterebilir.
  • Amaçlanan standart biçim için bir hedef dil sözlüğü veya dil modeli mevcut olmalıdır; düşük kaynaklı dillerde bu kaynaklar eksik olabilir.
  • Aşırı normalleştirme anlamlı varyasyonu yok edebilir — kasıtlı gayri resmi stil, kod değiştirme veya özel isimler yanlış yazılabilir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Aşağı akış NLP kalitesini genel olarak artırır — belirteçleme, kelime türü etiketleme, adlandırılmış varlık tanıma ve duygu analizi, temiz, tutarlı girdiden fayda sağlar.
  • Esnek uygulama: basit kural tabanlı arama tabloları öngörülebilir gürültü için iyi çalışırken, sinirsel diziden-diziye modeller yeni veya belirsiz biçimleri işler.
  • Veri hakkında özel bir dağılımsal varsayım gerektirmez, bu da onu çok küçük derlemler (minimum ~10 belge) için uygulanabilir kılar.

Uygulama alanları

  • Duygu analizi, konu modellemesi veya olay tespiti öncesinde sosyal medya derlemlerini (Twitter, Reddit, Instagram) ön işleme.
  • Bilgi çıkarımı öncesinde dijitalleştirilmiş tarihi belgelerden OCR çıktısını temizleme.
  • Klinik veya sosyolojik araştırmalar için SMS ve sohbet günlüğü metnini standartlaştırma.
  • Gayri resmi kullanıcı tarafından oluşturulan incelemeleri bir sınıflandırıcıya veya özetleyiciye beslemeden önce temiz metne dönüştürme.

Nasıl çalışır?

Nasıl çalışır?

1

Düzeltme girişimi yapılmadan önce derlemin gürültü profili karakterize edilir. Yaygın gürültü türleri arasında gayri resmi kısaltmalar (örneğin, 'lol', 'brb'), fonetik veya yazım hatası tabanlı yanlış yazımlar, kısaltmalar, emojiler, hashtag'ler, URL'ler ve OCR artefaktları bulunur. Hangi gürültü türlerinin mevcut olduğunun belirlenmesi, aşağı akışta hangi normalleştirme kurallarının veya modellerinin etkinleştirileceğini belirler.

2

Metin, kaynak kanala uygun bir belirteçleyici kullanılarak bireysel belirteçlere — kelimeler, noktalama işaretleri, emojiler veya diğer birimler — bölünür. Örneğin bir tweet belirteçleyicisi, '@' veya '#' karakterine göre ayırmak yerine hashtag'leri ve bahsetmeleri tek birim olarak korur. Daha sonraki normalizasyon belirteç bazında çalıştığı için doğru belirteçleme esastır.

3

Standart olmayan her belirteç, kanonik biçimine eşlenir. Kural tabanlı yaklaşımlar el yapımı arama tabloları veya düzenli ifade desenleri kullanır; istatistiksel ve sinirsel yaklaşımlar (T5 veya BART gibi diziden-diziye modeller dahil) eşlemeyi eğitim verilerinden öğrenir. Seçim, gürültü türüne, mevcut kaynaklara ve hedef alan için etiketlenmiş normalleştirme çiftlerinin olup olmadığına bağlıdır.

4

Normalleştirilmiş çıktı, bir hedef dil sözlüğüyle karşılaştırılır veya normalleştirmenin etkisini ölçmek için aşağı akış bir görevde değerlendirilir. Belirli belirteç türleri sistematik olarak yanlış düzeltilirse, kurallar veya model ağırlıkları ayarlanır. Bu geri bildirim döngüsü, kasıtlı argoyu veya adlandırılmış varlıkları yanlış standart biçimlere dönüştüren aşırı normalleştirmeye karşı korur.

Sık yapılan hatalar

  • Gürültü türü belirlemesini atlayıp genel bir normalleştirici uygulamak: her gürültü türü farklı işlem gerektirir, bu nedenle tek bir kural seti nadiren tüm durumları doğru bir şekilde ele alır.
  • Marka adları, hashtag'ler veya kullanıcı tanıtıcıları gibi adlandırılmış varlıkları normalleştirmek: bunlar genellikle korunmalı veya ayrı olarak ele alınmalı, standart sözlük biçimlerine zorlanmamalıdır.
  • Normalleştirmeyi dil bağımsız olarak ele almak: standart olmayan biçimden standart biçime eşleme dil özeldir ve bir dil için oluşturulmuş bir normalleştirici başka bir dildeki metni bozacaktır.
  • Sadece belirteç düzeyinde doğrulukla değerlendirme yapmak ve aşağı akış görev performansını kontrol etmemek: bir normalleştirici izole edildiğinde iyi görünebilir ancak aslında önemli olan metriğe zarar verebilir.

Sık sorulan sorular

Metin normalizasyonu yazım denetimi ile aynı şey midir?

Yazım denetimi bir alt kümedir. Normalizasyon, geleneksel bir yazım denetleyicisinin ele almak üzere tasarlanmadığı daha geniş bir standart olmayan biçim yelpazesini — kısaltmalar, argo, emojiler, kısaltmalar ve OCR artefaktları — kapsar. Bir yazım denetleyicisi 'recieve'yi yanlış olarak işaretler; bir normalleştirici ayrıca 'u'yu 'you' ve 'gr8'i 'great'e dönüştürür.

Normalleştirmeyi belirteçlemeden önce mi yoksa sonra mı yapmalıyım?

İki adım etkileşim halindedir: kanal uygun bir belirteçleyici, normalleştirmenin onları eşlemesinden önce emoji, hashtag veya URL gibi çok karakterli belirteçlerin birim olarak korunması için önce çalıştırılmalıdır. Bazı hatlar adımları araya sokar, ancak genel gelenek, önce kaynak kanala uygun bir belirteçleyici ile belirteçleme yapmak, ardından belirteç bazında normalleştirmektir.

Kural tabanlı ve sinirsel normalleştirme arasında nasıl seçim yapmalıyım?

Kural tabanlı yöntemler hızlı, şeffaftır ve gürültü öngörülebilir olduğunda ve bir arama tablosu oluşturulabildiğinde etkilidir. Sinirsel diziden-diziye modeller görülmemiş biçimlere daha iyi genelleme yapar ancak etiketlenmiş eğitim çiftleri ve daha fazla hesaplama gerektirir. Sınırlı etiketleme bütçeleriyle çoğu sosyal medya ön işleme görevi için hibrit bir yaklaşım — sık görülen desenler için kurallar, uzun kuyruk için sinirsel model — en iyi sonucu verir.

Metin normalizasyonu adlandırılmış varlık tanıma özelliğine zarar verir mi?

Adlandırılmış varlıklar yanlış yazılırsa zarar verebilir. '#AppleEvent' hashtag'ini 'apple event'e dönüştüren bir normalleştirici, bir NER modelinin güvendiği büyük harf ve sınır bilgisini kaybeder. En iyi uygulama, genel normalleştirme kurallarını uygulamadan önce adlandırılmış varlıkları tespit etmek ve muaf tutmak (veya önce NER çalıştırmak ve bu aralıkları korumak) olmalıdır.

İlgili yöntemler

Kaynaklar

  1. Baldwin, T. & Li, Y. (2015). An In-depth Analysis of the Effect of Text Normalization in Twitter. NAACL-HLT 2015.

    Yayın kaynağını aç
    Kopyalandı.
  2. Sproat, R. & Jaitly, N. (2017). RNN Approaches to Text Normalization: A Challenge. arXiv:1611.00068.

    Yayın kaynağını aç
    Kopyalandı.