Kural Türetme (RIPPER)
- Ortaya koyan
- William W. Cohen
- Yıl
- 1995
- Tür
- Supervised rule learning algorithm
- Aile
- Rule learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Kural Türetme ve özel olarak RIPPER (Repeated Incremental Pruning to Produce Error Reduction) algoritması, etiketlenmiş eğitim verilerinden kompakt bir IF-THEN sınıflandırma kuralı kümesi öğrenen denetimli bir makine öğrenmesi yöntemidir.
William W. Cohen tarafından 1995 yılında tanıtılan RIPPER, hem doğru hem de yorumlanabilir kurallar üretmek için minimum tanım uzunluğu (MDL) budamasını birleştiren ayrı-ve-fethet stratejisini uygular, bu da onu endüktif kural öğrenme alanında dönüm noktası niteliğinde bir algoritma haline getirir.
Yöntemin mantığı
Bir doktora teşhis kontrol listesi yazdığınızı hayal edin: her kural, bir tanıyı güvenilir bir şekilde tahmin eden belirli semptom kombinasyonlarını yakalar. RIPPER bu kontrol listesini hasta verilerinden otomatik olarak oluşturur. Bir seferde bir kural taslağı hazırlar, mümkün olduğunca çok pozitif vakayı kapsar, ardından aşırı spesifik koşulları kaldırmak için her kuralı ayrılmış bir küme üzerinde çapraz kontrol eder. Sonuç, tüm eğitim geçmişini incelemeye gerek kalmadan yeni hastalara uygulanabilen kısa, insan tarafından okunabilir bir kural kitabıdır.
Tarih
Kural Türetme, AQ (Michalski, 1969) ve CN2 (Clark ve Niblett, 1989) gibi erken makine öğrenmesi sistemlerinde köklere sahiptir. Cohen'in 1995 tarihli RIPPER makalesi, bu öncüllerin hesaplama verimsizliği ve aşırı uyum eğilimlerini, artımlı budama ve MDL tabanlı optimizasyon tanıtarak ele aldı. ICML 1995'te sunulan RIPPER, rekabetçi doğruluğu ve şeffaflığı nedeniyle hızla bir kıyaslama algoritması haline geldi ve kural öğrenme literatüründe ve ders kitaplarında standart bir referans olmaya devam ediyor.
Ne zaman kullanılır?
RIPPER ile Kural Türetme, model yorumlanabilirliğinin birincil gereksinim olduğu durumlarda, örneğin klinik karar destek, dolandırıcılık tespiti veya düzenleyici uyumluluk ayarlarında uygundur. Karma nominal ve sayısal özelliklerle çalışır ve on binlerce örneğe kadar makul ölçüde ölçeklenir. RIPPER, eğitim etiketlerinin yeterince güvenilir olduğunu ve altta yatan karar sınırının eksen hizalı birleştirmelerle yaklaştırılabilir olduğunu varsayar. Yüksek boyutlu sürekli özellik alanları veya olasılıksal kalibre edilmiş çıktılar gerektiren görevler için daha az uygundur; bu durumlarda gradyan artırılmış ağaçlar veya lojistik regresyon tercih edilebilir.
Sınırlar ve dikkat edilmesi gerekenler
- Kural kalitesi, çok yüksek boyutlu veya seyrek özellik alanlarında önemli ölçüde bozulur
- Sıralı kural listeleri sınıf sıralamasına duyarlı olabilir; en son öğrenilen azınlık sınıfları daha zayıf kurallar alabilir
- Maliyet duyarlı veya sıralama görevlerinde kullanımı sınırlayan kalibre edilmiş olasılık tahminleri üretmez
- Birleştirilmiş kurallar, özellik mühendisliği olmadan eksen hizalı olmayan sınırları gerektiren karmaşık etkileşimleri yakalayamaz
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Alan uzmanlarının denetleyip doğrulayabileceği insan tarafından okunabilir IF-THEN kuralları üretir
- MDL güdümlü budama ile verimli ayrı-ve-fethet öğrenme aşırı uyumu azaltır
- Kapsamlı ön işleme gerektirmeden hem nominal hem de sayısal öznitelikleri işler
- Orta veri kümesi boyutları için topluluk yöntemlerine kıyasla genellikle hızlı eğitim süresi
Uygulama alanları
- Klinik karar destek ve tıbbi teşhis kuralı çıkarma
- Finansal işlem izlemede dolandırıcılık ve anomali tespiti
- Sözcüksel ve yapısal özellikler kullanarak metin sınıflandırma
- Yorumlanabilir uyarı kurallarıyla ağ saldırı tespiti
- Eyleme geçirilebilir iş kurallarıyla müşteri kaybı tahmini
Nasıl çalışır?
Nasıl çalışır?
RIPPER, her seferinde bir sınıfa odaklanır ve kalan tüm örnekleri negatif küme olarak ele alır. Pozitiflerin toplam kapsanan örneklere oranını maksimize eden koşulu tekrarlı olarak ekleyerek açgözlü bir şekilde birleştirilmiş bir kural büyütür. Büyüdükten sonra, kural kesinleşir ve kapsadığı tüm örnekler, Cohen (1995) tarafından açıklanan klasik ayrı-ve-fethet paradigmasını izleyerek bir sonraki kural öğrenilmeden önce kaldırılır.
Formül
\text{For each class } c \in \mathcal{C} \text{, grow a rule } R: \text{cond} \Rightarrow c \text{ maximizing } \frac{p}{p+n}Her aday kural, p ve n sırasıyla doğru ve yanlış kapsanan örnekleri saydığı (p - n) / (p + n) metriği kullanılarak ayrılmış bir doğrulama bölümünde budanır. Budama bu değeri artırdığı sürece koşullar kural kuyruğundan içeri doğru silinir, bu da eğitim kümesine uyan aşırı spesifik birleştirmelerden kaynaklanan aşırı uyumu önler.
Formül
\text{Prune rule } R \text{ by removing conditions to maximize } v(R, \text{prune set}) = \frac{p - n}{p + n}Tüm sınıf başına kurallar öğrenildikten sonra, RIPPER minimum tanım uzunluğu ilkesi tarafından yönlendirilen isteğe bağlı bir optimizasyon geçişi çalıştırır. Son kümedeki her kural için algoritma, onu değiştirmeyi veya revize etmeyi düşünür ve değişikliği yalnızca kurallar kümesinin ve kalan yanlış sınıflandırılmış verilerin birleşik tanım uzunluğunu azaltırsa kabul eder, bu da doğruluk ile model karmaşıklığı arasında bir denge kurar.
Formül
\text{Minimize description length: } DL(\text{ruleset}) + DL(\text{data} \mid \text{ruleset})Tahmin zamanında, kurallar öğrenildikleri sıraya göre uygulanır. Görülmemiş bir örnek, o örneğin özellik değerleri tarafından koşullarının tamamı karşılanan ilk kuralın sınıf etiketini alır. Hiçbir kural tetiklenmezse, örnek tipik olarak eğitim verilerinden çoğunluk sınıfı olan varsayılan bir sınıfa düşer, bu da girdi alanının tam kapsanmasını sağlar.
Formül
\hat{y} = c_k \text{ where } R_k \text{ is the first rule in the ordered list that fires on instance } \mathbf{x}Sık yapılan hatalar
- RIPPER'ı yeterli ayrılmış budama verisi olmayan küçük veri kümelerine uygulamak, aşırı budanmış, düşük kapsama alanına sahip kurallara yol açar
- Sınıf dengesizliğini göz ardı etmek, varsayılan sınıfın azınlık sınıfını emmesine neden olur, bu da azınlık sınıfı geri çağırmasının zayıf kalmasını maskeler
- Öğrenilen kural sırasını nedensel olarak değil de tahmin edici olarak ele almak, keşifsel analizlerde yanlış yorumlamaya yol açar
- MDL optimizasyon geçişini atlamak (bazı uygulamalarda mevcuttur) son kümede gereksiz veya çelişkili kurallar bırakabilir
Sık sorulan sorular
RIPPER, bir karar ağacından nasıl farklıdır?
Her ikisi de eksen hizalı sınırları öğrenir, ancak karar ağaçları tüm özellik alanını özyinelemeli olarak böler ve hiyerarşik bir yapı üretir. RIPPER bunun yerine ayrı-ve-fethet kullanarak sıralı bir kural listesi öğrenir, bu da yalnızca birkaç sınıf özel deseni önemli olduğunda daha kompakt temsiller sağlayabilir. Kurallar ayrıca alan uzmanlarının izole olarak okuması için ağaç yollarından daha kolaydır.
RIPPER çok sınıflı sorunları işleyebilir mi?
Evet. RIPPER, her sınıf için sırayla, en nadirden en sık olana doğru sıralanmış kurallar öğrenerek çok sınıflı ayarlara genişletilir. Önceki sınıflar için kurallarla kapsanan örnekler, sonraki sınıflar için kurallar öğrenilmeden önce kaldırılır. Varsayılan bir kural, açık kurallarla kapsanmayan herhangi bir örneğe çoğunluk sınıfını atar.
RIPPER'da Minimum Tanım Uzunluğu ilkesinin rolü nedir?
MDL, kural karmaşıklığı ile veri uyumu arasında denge kurmak için resmi bir kriter sağlar. Optimizasyon aşamasında, RIPPER toplam tanım uzunluğu — hem kuralları hem de yanlış sınıflandırılmış örnekleri kodlayan — daha kısa olan kurallar kümelerini tercih eder. Bu, algoritmanın gerçek desenleri yakalamak yerine gürültüyü ezberleyen aşırı spesifik kuralları tutmasını engeller.
İlgili yöntemler
Kaynaklar
Cohen, W. W. (1995). Fast effective rule induction. Proceedings of the 12th International Conference on Machine Learning, 115–123.
DOI kaynağını açKopyalandı.