BERTopic — Sinirsel Konu Modelleme
- Ortaya koyan
- Maarten Grootendorst
- Yıl
- 2022
- Tür
- Neural topic-modeling pipeline
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
BERTopic, Maarten Grootendorst tarafından 2022'de tanıtılan sinirsel bir konu modelleme işlem hattıdır.
Tutarlı, dinamik konular üretmek ve klasik konu modellerinden daha yüksek konu tutarlılığı elde etmek için BERT tabanlı bağlamsal gömme (embedding) işlemlerini UMAP boyut azaltma ve HDBSCAN kümeleme ile birleştirir.
Yöntemin mantığı
Klasik konu modelleri bir belgeyi kelime torbası olarak ele alır ve bağlamdaki kelimelerin anlamını nadiren yakalar. BERTopic bunun yerine bağlamsal gömme işlemlerinden başlar, böylece farklı kelimelerle aynı şeyden bahseden belgeler birbirine yakın düşer. Bu yakın belgeleri kümelere ayırır ve ardından her kümeyi ayırt edici kılan kelimeleri okur — ve bu ayırt edici kelimeler konu haline gelir. Sonuç, ham kelime sayımlarından ziyade metnin anlamından ortaya çıkan insan tarafından okunabilir temalar kümesidir.
Tarih
BERTopic, 2022'de Maarten Grootendorst tarafından dönüştürücü gömme işlemlerini sınıfa dayalı bir TF-IDF prosedürüyle eşleştiren sinirsel bir konu modelleme yaklaşımı olarak tanıtıldı. Konu modellemeyi tamamen sayım tabanlı yöntemlerden uzaklaştırıp gömme güdümlü, tutarlılık odaklı konulara doğru hareket ettirerek, McInnes, Healy ve Astels'in (2017) HDBSCAN yoğunluk tabanlı kümeleme algoritmasından yararlanır.
Ne zaman kullanılır?
Metin veri kümeniz olduğunda ve önceden belirtmeden altında yatan temaları keşfetmek istediğinizde BERTopic'i kullanın. Kesitsel veya boylamsal metinler üzerinde keşifsel ve tanımlayıcı çalışmalar için uygundur. Yeterli sayıda belge gereklidir — en az 50, 100'den fazlası önerilir — ve gömme adımı pahalı olduğu için GPU veya yüksek hesaplama gücü tercih edilir. Çok az belgeyle, yoğunluk tabanlı kümeleme kararlı konular oluşturmak için yeterli sinyale sahip değildir.
Sınırlar ve dikkat edilmesi gerekenler
- Kararlı konular oluşturmak için yeterli sayıda belge gerektirir — en az 50, 100'den fazlası önerilir.
- Dönüştürücü gömme adımı pahalı olduğu için GPU veya yüksek hesaplama gücü tercih edilir.
- Sonuçlar gömme modeline ve seçilen UMAP ve HDBSCAN ayarlarına bağlıdır.
- HDBSCAN bazı belgeleri aykırı değerler olarak atamadan bırakır, bu nedenle her belge bir konu almaz.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Bağlamsal gömme işlemlerine dayanır, bu nedenle kelime torbası modellerinin kaçırdığı anlamı yakalar.
- Klasik konu modellerinden daha yüksek tutarlılıkla tutarlı, yorumlanabilir konular üretir.
- Zaman damgalı veri kümelerinde konuların zaman içinde nasıl değiştiğini izleyen dinamik konu modellemeyi destekler.
- Çok dilli bir gömme modeli, aynı işlem hattının diller arasında çalışmasına olanak tanır.
Uygulama alanları
- Keşifsel analiz için büyük belge veya rapor koleksiyonlarındaki temaları keşfetmek.
- Zaman damgalı metinlerde bir veri kümesindeki konuların zaman içinde nasıl geliştiğini izlemek.
- Açık uçlu anket yanıtlarını veya incelemeleri yorumlanabilir temalara özetlemek.
- Bilimsel veya sosyal medya veri kümelerini diller arasında tutarlı konu kümelerine organize etmek.
Nasıl çalışır?
Nasıl çalışır?
Her belge, BERT tabanlı bir dönüştürücü model kullanılarak bağlamsal bir gömme işlemine dönüştürülür. Gömme işlemi bağlamdaki anlamı yakaladığı için, farklı ifadelerle aynı fikri dile getiren belgeler vektör uzayında birbirine yakın düşer. Çok dilli bir model, aynı işlem hattının birçok dildeki veri kümelerini işlemesine olanak tanır.
Yüksek boyutlu gömme işlemleri UMAP ile daha düşük boyutlu bir alana yansıtılır. Bu azaltma, yerel komşuluk yapısını korurken, aksi takdirde yoğunluğu seyreltecek olan yüksek boyutluluğun kümeleme adımı için veriyi işlenebilir hale getirir.
HDBSCAN, azaltılmış gömme işlemlerini yoğunluk tabanlı kümelere ayırır. Yoğunluk tabanlı olduğu için, çeşitli şekillerdeki kümeleri bulur ve gerçek anlamda seyrek belgeleri bir konuya zorlamak yerine aykırı değerler olarak atanmamış bırakır.
Her küme için, kümenin en ayırt edici terimlerini sıralayan sınıfa dayalı bir TF-IDF puanı hesaplanır. En üst sıralarda yer alan terimler konunun temsilini oluşturur, bu da tutarlı, yorumlanabilir konular ve zaman damgalı veri kümelerinde zaman içinde izlenebilen dinamik konular üretir.
Sık yapılan hatalar
- Çok az belge üzerinde çalıştırmak, kümeleme adımını anlamlı konular oluşturmak için yeterli yoğunluk olmadan bırakır.
- Veri kümesi diline uymayan bir gömme modeli seçmek konu kalitesini düşürür; çok dilli veya alana özgü bir model kullanın.
- Aykırı (atanmamış) belgeleri yoğunluk tabanlı kümelemenin beklenen davranışı olarak değil de bir başarısızlık olarak ele almak.
- Sınıfa dayalı TF-IDF terimlerinden konuları temsilci belgeleri incelemeden okumak, bu da bir etiketi aşırı yorumlamaya yol açabilir.
Sık sorulan sorular
BERTopic, LDA gibi klasik konu modellerinden nasıl farklıdır?
LDA gibi klasik modeller kelime sayımlarından ve her belgenin kelime torbası görünümünden çalışır. BERTopic, bağlamsal dönüştürücü gömme işlemlerinden başlar, bunları UMAP ile azaltır, HDBSCAN ile kümelendirir ve her kümeyi sınıfa dayalı TF-IDF terimleriyle etiketler. Bağlamdaki anlamı yakaladığı için, genellikle daha tutarlı, yorumlanabilir konular üretir.
Kaç belgeye ihtiyacım var?
En az 50 belge, 100'den fazlası önerilir. Kümeleme adımı yoğunluk tabanlıdır, bu nedenle çok az belgeyle kararlı konular oluşturmak için yeterli sinyal yoktur.
Neden belgelerimin bazıları herhangi bir konuya atanmadı?
HDBSCAN yoğunluk tabanlı bir kümeleme algoritmasıdır ve gerçek anlamda seyrek veya tipik olmayan belgeleri bir konuya zorlamak yerine kasıtlı olarak aykırı değerler olarak atanmamış bırakır. Bu, bir hata değil, beklenen bir davranıştır.
BERTopic İngilizce olmayan metinleri işleyebilir mi?
Evet. Çok dilli bir gömme modeli seçerek aynı işlem hattı birçok dildeki veri kümelerini işleyebilir; gömme modelini veri kümesi diline eşleştirmek iyi konu kalitesi için anahtardır.
İlgili yöntemler
Kaynaklar
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
DOI kaynağını açKopyalandı.McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
DOI kaynağını açKopyalandı.