İçeriğe atla
Arama sonuçlarına dön

Birliktelik Kuralları

Ortaya koyan
Agrawal, R., Imielinski, T., & Swami, A.
Yıl
1993
Tür
Unsupervised pattern discovery
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Birliktelik kuralı öğrenimi, büyük işlem verisi kümeleri içindeki eş-görünüm örüntülerini - 'eğer X ise Y' çıkarımlarını - keşfeden denetimsiz bir tekniktir.

Orijinal olarak Agrawal, Imielinski ve Swami (1993) tarafından süpermarket sepeti analizi için biçimlendirilmiş olup, günümüzde e-ticaret öneri sistemleri, sağlık bilişimi, biyoenformatik ve davranış araştırmalarında yaygın olarak kullanılmaktadır.

Yöntemin mantığı

Milyonlarca alışveriş fişini taradığınızı ve şunu sorduğunuzu hayal edin: Hangi ürün kombinasyonları birlikte görünme eğilimindedir? Birliktelik kuralı madenciliği, öğe kümelerinin ne sıklıkla birlikte göründüğünü (destek), bir öğenin diğerini ne kadar güvenilir bir şekilde tahmin ettiğini (güven) ve eş-görünümün tesadüften daha güçlü olup olmadığını (kaldıraç) sayarak bu soruyu yanıtlar. Yüksek güven ve kaldıraç değerlerine sahip 'bez bebek bezi → bira' gibi kurallar, rastlantısallık yerine gerçek davranış örüntülerini ortaya çıkarır ve bu da denetleyecek bir sonuç değişkeninin olmadığı durumlarda güçlü bir keşif aracı olmasını sağlar.

Tarih

Birliktelik kuralı öğrenimi, 1993 ACM SIGMOD konferansında Agrawal, Imielinski ve Swami tarafından süpermarket işlem veritabanlarını madencileme zorluğuyla motive edilerek resmen tanıtılmıştır. Sonraki 1994 tarihli makaleleri, verimli bir hesaplama yöntemi sağlayan Apriori algoritmasını tanıtmıştır. Alan, 1990'lar ve 2000'ler boyunca hızla büyümüş, daha sonra FP-growth (Han vd., 2000) daha da hız iyileştirmeleri sunmuştur. Birliktelik kuralları, veri madenciliği müfredatlarında temel bir teknik olarak kalmakta ve perakende, sağlık ve web analitiğinde rutin olarak uygulanmaktadır.

Ne zaman kullanılır?

Amacınız işlem verisi veya ikili kodlanmış verilerdeki - satın alma sepetleri, klinik eş-tanılar, tıklama akışları, anket öğe bataryaları veya gen ekspresyon profilleri - eş-görünüm örüntülerinin keşfi olduğunda birliktelik kurallarını kullanın. Yöntem denetimsizdir ve sonuç etiketi gerektirmez, bu da onu hipotez üretimi için ideal kılar. Tanımlanmış bir sonuç değişkeniniz olduğunda ve onu tahmin etmek istediğinizde (bunun yerine denetimli sınıflandırma veya regresyon kullanın); verileriniz sürekli olduğunda ve anlamlı bir şekilde ayrıştırılmadığında; örneklem boyutları küçük olduğunda (seyrek öğe kümeleri güvenilmez destek tahminleri verir); veya kural çıktısının nedensel çıkarım olarak yanlış yorumlanacağı durumlarda kullanmayın - birliktelik kuralları tamamen korelasyoneldir.

Sınırlar ve dikkat edilmesi gerekenler

  • Verilerin işlemsel veya ayrıştırılmış ikili olması gerekir; sürekli özellikler, keyfi seçimler getiren gruplamaya ihtiyaç duyar.
  • Kural sayısı çok büyük olabilir; kaldıraç veya diğer ilginçlik ölçütlerine göre sonradan filtreleme ve sıralama zorunludur.
  • Minimum destek ve güven eşikleri araştırmacı tarafından belirlenmelidir; sonuçlar bu seçimlere duyarlıdır.
  • Kurallar tamamen korelasyoneldir - nedensel iddialar ek çalışma tasarımı (örneğin, deney veya yarı-deney) gerektirir.
  • Budamaya rağmen çok büyük öğe kümelerine sahip veri kümelerinde hesaplama açısından maliyetlidir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Tamamen denetimsiz: etiketlenmiş bir sonuç değişkeni gerektirmez, açık uçlu örüntü keşfini mümkün kılar.
  • Yorumlanabilir çıktı: her kural, nicel destek, güven ve kaldıraç değerlerine sahip, insan tarafından okunabilir BİR EĞER–İSE ifadesidir.
  • Budama sezgisel yöntemleri (Apriori, FP-growth) aracılığıyla çok büyük işlem verisi kümelerine ölçeklenir.
  • İkili kodlanmış kayıtlarda eş-görünümün anlamlı olduğu her alanda uygulanabilir.
  • Hipotez üretimi: sonraki onaylayıcı analizi yönlendirebilecek beklenmedik eş-görünümleri yüzeye çıkarır.

Uygulama alanları

  • Pazar sepeti analizi: ürün yerleşimini ve promosyonları yönlendirmek için hangi ürünlerin sıklıkla birlikte satın alındığını belirleme.
  • E-ticaret önerisi: 'X'i satın alan müşteriler Y'yi de satın aldı' önerileri oluşturma.
  • Klinik komorbidite keşfi: hasta kayıtlarında birlikte görülen teşhis, ilaç veya semptom kümelerini bulma.
  • Biyoenformatik: örnekler arasında birlikte ifade edilen genleri veya birlikte görülen genetik varyantları tespit etme.
  • Web kullanım madenciliği: web sitelerindeki yaygın tıklama akışı örüntülerini ve gezinme dizilerini ortaya çıkarma.
  • Anket ve davranış araştırması: yanıtlayıcılar arasında birlikte görülen anket öğeleri veya davranış kümelerini bulma.

Nasıl çalışır?

Nasıl çalışır?

1

Veri kümesi ikili işlem matrisi olarak temsil edilir: her satır bir işlemi, her sütun ise olası bir öğeyi gösterir; 1 öğenin mevcut olduğunu, 0 ise olmadığını belirtir. Bu seyrek, geniş gösterim temel girdi formatıdır; ikili olmayan veya nicel öğeler bu adımdan önce ayrıştırılmalıdır.

2

İşlem veritabanındaki sıklığı, kullanıcı tarafından belirlenen minimum destek eşiğini karşılayan tüm öğe kombinasyonları (öğe kümeleri) belirlenir. Sık görülen öğe kümelerinin herhangi bir alt kümesinin de sık görüldüğü ilkesi (Apriori prensibi), kombinatoryal arama uzayını önemli ölçüde budayarak, büyük kataloglarda bile sayımı yapılabilir hale getirir.

Formül
\text{support}(X) = \frac{|\{t \in T : X \subseteq t\}|}{|T|} \geq \text{min\_sup}
3

Her sık görülen öğe kümesi için, olası tüm öncül-sonuç ayrışımları (X ve Y'nin ayrık boş olmayan alt kümeler olduğu X → Y) aday kurallar olarak üretilir. Adayların sayısı büyük olabileceğinden, sonraki filtreleme adımı esastır.

Formül
X \Rightarrow Y, \quad X \cap Y = \emptyset
4

Her aday kural, güvenilirliği ile değerlendirilir: Y'nin mevcut olduğu bilindiğinde X'in mevcut olma koşullu olasılığı. Yalnızca minimum güven eşiğini aşan kurallar tutulur ve bu da sonuçları temel orandan yalnızca marjinal olarak daha iyi tahmin eden öncülleri filtreler.

Formül
\text{confidence}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X)} \geq \text{min\_conf}
5

Tutulan kurallar, bağımsızlık varsayımı altında beklenen desteğin gözlemlenen ortak desteğe oranı olan kaldıraç ile sıralanır. 1'den büyük kaldıraç, gerçek pozitif birlikteliği işaret eder; 1'e yakın kaldıraç, öğelerin şans eseri olduğundan daha fazla birlikte görülmediğini gösterir; 1'den küçük kaldıraç ise negatif birlikteliği gösterir. Kaldıraç ile sıralama, en eyleme geçirilebilir ve önemsiz olmayan kuralları yüzeye çıkarır.

Formül
\text{lift}(X \Rightarrow Y) = \frac{\text{support}(X \cup Y)}{\text{support}(X) \cdot \text{support}(Y)}

Sık yapılan hatalar

  • Minimum desteği çok düşük ayarlamak, genelleştirilmeyen uydurma, düşük frekanslı kurallarla çıktıyı doldurur.
  • Kaldıraç ihmal edilerek tüm yüksek güvenli kuralların raporlanması, bunların birçoğu basitçe yüksek temel oranlı öğeleri yansıtabilir.
  • Keşfedilen kuralları daha fazla doğrulama olmaksızın nedensel olarak ele almak (örneğin, 'bira ve bez bebek bezi birlikte görülür' ile 'bira bez bebek bezi alımına neden olur'u karıştırmak).
  • Birliktelik kurallarını, keyfi gruplama sınırlarına tamamen bağlı olan kurallar üreten, ilkeli ayrıştırma yapmadan sürekli verilere uygulamak.
  • Binlerce kural üretilip seçici olarak vurgulandığında çoklu karşılaştırma endişelerinin göz ardı edilmesi.

Sık sorulan sorular

Minimum destek ve güven eşiklerini nasıl seçmeliyim?

Evrensel bir kural yoktur. Önce bireysel öğelerin destek dağılımını inceleyerek başlayın, ardından minimum desteği ilgilenilen örüntüleri yakalayacak kadar düşük, ancak öğe kümelerinin en azından anlamlı bir mutlak sayıda işlemde görünmesini sağlayacak kadar yüksek ayarlayın. Minimum güven için 0.6–0.8 yaygın bir başlangıç aralığıdır, ancak alan bilgisi ve kaldıraç tabanlı sıralama nihai seçimi yönlendirmelidir.

Güven ve kaldıraç arasındaki fark nedir ve hangisini önceliklendirmeliyim?

Güven, X içeren işlemlerde Y'nin ne sıklıkla X'i takip ettiğini ölçer, ancak Y'nin temel oranını göz ardı eder. Kaldıraç, güveni Y'nin marjinal desteğine bölerek bunu düzeltir. Yüksek güvene sahip ancak kaldıraç 1'e yakın olan bir kural, Y'nin yaygın olduğunu bilmenin ötesinde çok az bilgi ekler. Gerçekten önemsiz olmayan birliktelikleri filtrelerken kaldıraç önceliklendirilmelidir.

Birliktelik kuralları tahmin için kullanılabilir mi?

Öncelikle tanımlayıcı ve keşifseldir, tahmin edici değildir. Sabit bir sonuç değişkenine sahip kuralları sınıflandırma için kullanmak mümkün olsa da - asosyatif sınıflandırma olarak adlandırılan bir teknik - standart birliktelik kuralı madenciliği tahmin edici bir kayıp fonksiyonunu optimize etmez ve etiketlenmiş bir sonuç mevcut olduğunda denetimli modellerin yerini almamalıdır.

Veri kümem sürekli değişkenlere sahip. Birliktelik kuralları hala kullanabilir miyim?

Yalnızca ayrıştırmadan sonra. Sürekli değişkenler, ikili öğeler olarak kodlanmadan önce kategorik aralıklara (örneğin, yaş grupları, beşli gruplar) gruplandırılmalıdır. Gruplama sınırlarının seçimi, hangi kuralların ortaya çıktığını önemli ölçüde etkiler, bu nedenle gruplama kararları teorik olarak motive edilmeli ve şeffaf bir şekilde raporlanmalıdır.

Birliktelik kuralları korelasyon analizinden nasıl farklıdır?

Korelasyon (örneğin, Pearson'ın r'si), iki sürekli değişken arasındaki doğrusal ilişkiyi ölçer. Birliktelik kuralları, işlem verilerindeki ikili öğe kümeleri - herhangi bir boyut kombinasyonu - arasındaki eş-görünüm örüntülerini keşfeder. Metrikler (destek, güven, kaldıraç) moment tabanlı olmaktan çok sıklık tabanlıdır ve çıktı, tek bir sayısal katsayı yerine insan tarafından okunabilir BİR EĞER–İSE kural kümesidir.

İlgili yöntemler

Kaynaklar

  1. Agrawal, R., Imielinski, T., & Swami, A. (1993). Mining association rules between sets of items in large databases. Proceedings of the 1993 ACM SIGMOD International Conference on Management of Data, 207–216.

    DOI kaynağını aç
    Kopyalandı.
  2. Tan, P.-N., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to Data Mining (2nd ed., Ch. 5). Pearson.

    ISBN: 978-0-13-312890-1
    Kopyalandı.