Dil Tanımlama (LID)
- Tür
- NLP text-classification task
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Dil tanımlama, bir metnin hangi dilde yazıldığını otomatik olarak algılayan bir doğal dil işleme görevidir.
Lui & Baldwin (2012) tarafından geliştirilen langid.py gibi hazır araçlar ve Joulin et al. (2017) tarafından sunulan verimli sınıflandırıcılar üzerine inşa edilen bu yöntem, çok dilli veri kümelerini ön işlemek ve filtrelemek için yaygın olarak kullanılmaktadır.
Yöntemin mantığı
Farklı diller, harf ve kelime kalıplarında kendine özgü izler bırakır: Türkçe'de görülen karakter dizileri İngilizce veya Japonca'dakinden farklıdır. Her belgeyi okuyup tanıması için bir insana ihtiyaç duymak yerine, dil tanımlama bu istatistiksel kalıpları öğrenir ve her metne bir dil etiketi atar, böylece çok dilli bir koleksiyon otomatik olarak dile göre sıralanabilir.
Tarih
Otomatik dil tanımlama, langid.py (Lui & Baldwin, 2012) ile güvenilir, hazır araçlara dönüşmüştür; bu araç birçok dili kapsayan bağımsız bir araçtır. Joulin et al. (2017) daha sonra basit, verimli metin sınıflandırma modellerinin bu görevi çok büyük ölçekte gerçekleştirebileceğini göstermiştir; bu yaklaşım fastText dil tanımlama modelleri aracılığıyla popüler hale gelmiştir.
Ne zaman kullanılır?
Metin verilerinin dilinin bilinmediği veya karışık olduğu ve daha ileri analizden önce dile göre sıralama veya filtreleme yapılması gerektiğinde dil tanımlamayı kullanın. Her belge güvenilir bir sinyal taşıyacak kadar uzun olmalıdır — en az yaklaşık 20 karakter. Temizlenmesi veya dile göre yönlendirilmesi gereken çok dilli veri kümelerine uyar; eğer metninizin tamamı zaten tek bir dilde olduğu biliniyorsa, bu adım gereksizdir.
Sınırlar ve dikkat edilmesi gerekenler
- Çok kısa metinler yeterli sinyal taşımaz; yaklaşık 20 karakterden kısa belgeler güvenilmezdir.
- Kod değiştirme — bir belge içinde iki dili karıştırmak — doğru bir şekilde etiketlenmesi gerçekten zordur.
- Düşük kaynaklı dillerde ve betiklerin karıştığı metinlerde doğruluk düşebilir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Hazır araçlar, kendi etiketlenmiş verilerinize ihtiyaç duymadan hızlı bir şekilde dağıtım yapmayı sağlar.
- Sıralanmamış çok dilli bir koleksiyonu, sonraki işleme için hazır, temiz, dile göre etiketlenmiş alt kümelere dönüştürür.
- Büyük veri kümelerine ölçeklenebilen, giriş seviyesi, düşük zorluklu bir yöntem.
Uygulama alanları
- Her belgeyi kendi diliyle etiketleyerek çok dilli veri kümelerini ön işleme.
- Daha ileri analizden önce yalnızca hedef dildeki belgeleri tutmak için bir veri kümesini filtreleme.
- Sosyal bilimler, beşeri bilimler ve işletme araştırmalarında dile özgü işlem hatlarına gelen metinleri yönlendirme.
- Birçok dili karıştıran web'den kazınmış koleksiyonları temizleme.
Nasıl çalışır?
Nasıl çalışır?
Analiz edilecek metin toplanır ve kullanılabilir uzunluk açısından kontrol edilir. Çok kısa parçalar yeterli sinyal taşımaz, bu nedenle her belge güvenilir bir şekilde etiketlenebilmesi için en az 20 karakter uzunluğunda olmalıdır.
Her belge, bir dili diğerinden ayıran istatistiksel sinyale dönüştürülür — tipik olarak karakter n-gram kalıpları, harflerin belirli bir dilde birbirini takip etme eğilimini yakalar. Sınıflandırıcı bu kalıpları okur.
Eğitilmiş bir model, langid.py veya fastText tarzı sınıflandırıcılar gibi bu görev için oluşturulmuş araçlardan yararlanarak her belgeye en olası dil etiketini atar. Çıktı, her metin için tahmin edilen bir dildir.
Tahmin edilen etiketler daha sonra kullanılır: çok dilli bir koleksiyon dile göre sıralanır ve istenmeyen dillerdeki belgeler daha ileri metin işleme işleminden önce filtrelenir. Dil tanımlamanın bir ön işleme adımı olarak yerini aldığı yer burasıdır.
Sık yapılan hatalar
- Çok kısa parçalarda çalıştırmak ve etikete yine de güvenmek — önce minimum bir uzunluk zorunlu kılın.
- Metin diller arasında kod değiştirildiğinde belge başına bir etiket varsaymak; tek tahmin edilen etiket yanıltıcı olacaktır.
- Tahmin edilen dili, özellikle birbirine yakın diller için, örnek kontrolü yapmadan doğru kabul etmek.
Sık sorulan sorular
Dil tanımlama ne kadar metne ihtiyaç duyar?
Her belge en az yaklaşık 20 karakter uzunluğunda olmalıdır. Daha kısa parçalar yeterli istatistiksel sinyal taşımaz ve tahmin edilen dil güvenilmez hale gelir.
İki dili karıştıran metinlerle ne olur?
Kod değiştirme bilinen bir zorluktur: bir belgede iki dil göründüğünde, tek bir etiket döndüren bir araç her ikisini de temsil edemez ve sonuç genellikle yanıltıcı olur. Tek bir etikete güvenmek yerine bu tür metinleri segmentlere ayırın veya işaretleyin.
Etiketlenmiş eğitim verilerine ihtiyacım var mı?
Genellikle hayır. langid.py ve fastText tarzı sınıflandırıcılar gibi hazır araçlar birçok dil üzerinde önceden eğitilmiş olarak gelir, bu nedenle kendi etiketlenmiş kümenizi hazırlamadan dili tespit edebilirsiniz.
Diğer metin analizlerinden önce neden dil tanımlanmalı?
Çoğu sonraki yöntem — belirteçleyiciler, sözlükler, dil modelleri — tek bir bilinen dili varsayar. Önce dili tanımlamak ve filtrelemek bu varsayımı geçerli kılar ve tek bir dil için oluşturulmuş araçların başka bir dile uygulanmasını önler.
İlgili yöntemler
Kaynaklar
Lui, M. & Baldwin, T. (2012). langid.py: An Off-the-shelf Language Identification Tool. Proceedings of the ACL 2012 System Demonstrations.
Yayın kaynağını açKopyalandı.Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of Tricks for Efficient Text Classification. Proceedings of the EACL 2017.
Yayın kaynağını açKopyalandı.