Aktif Öğrenme Tek Sınıflı SVM
- Ortaya koyan
- Schölkopf et al. (OCSVM); active variant developed in the anomaly-detection literature (2000s–2010s)
- Yıl
- 2000s
- Tür
- Semi-supervised anomaly/novelty detection with iterative labeling
- Aile
- Machine learning
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Aktif Öğrenme Tek Sınıflı SVM, çekirdek tabanlı bir yenilik dedektörü olan ve normal verilerin sınırını öğrenen tek sınıflı destek vektör makinesini (one-class support vector machine), uzman etiketlemesi için en bilgilendirici etiketlenmemiş örnekleri seçen bir aktif öğrenme döngüsüyle birleştirir.
Sonuç, minimum etiketleme çabasıyla karar sınırını iyileştiren veri açısından verimli bir anomali dedektörüdür.
Yöntemin mantığı
Standart bir Tek Sınıflı SVM, bilinen normal bölgenin özellik uzayının etrafında sıkı bir sınır çizer. Zorluk, sınır kalitesinin etiketlenen örneklere büyük ölçüde bağlı olmasıdır. Aktif öğrenme, yalnızca mevcut karar sınırına yakın veya hemen dışına düşen örnekleri — modelin en çok emin olmadığı noktaları — etiketlemesi için bir oracle'a sorarak bunu düzeltir. Rastgele yerine stratejik olarak sorgulama yaparak, model çok daha az etiketlenmiş örnekle daha bilgilendirici bir eğitim seti elde eder, etiketleme maliyetini düşürürken normal ve anormal arasındaki sınırı keskinleştirir.
Tarih
Tek Sınıflı SVM, 1999-2001 yıllarında Schölkopf ve arkadaşları tarafından bir dağılımın desteğini tahmin etmek için ilkeli bir çekirdek yöntemi olarak tanıtıldı ve hızla yenilik ve anomali tespiti için referans bir algoritma haline geldi. Aktif öğrenme paradigması — bilgilendirici etiketler için sistematik olarak bir oracle'a sorgulama — Settles (2009) tarafından yapılan incelemede biçimlendirildi. 2000'ler ve 2010'lardaki araştırmacılar bu iki fikri birleştirerek, saldırı tespiti, arıza teşhisi ve tıbbi tarama gibi alanlarda OCSVM'ye belirsizlik tabanlı ve marj tabanlı sorgu stratejileri uyguladılar, burada etiketlenmiş anomaliler doğası gereği nadirdir.
Ne zaman kullanılır?
Anomalilerin veya yeniliklerin tespit edilmesi gerektiğinde ancak etiketlenmiş örneklerin pahalı, nadir veya başlangıçta mevcut olmadığı durumlarda kullanılır — dolandırıcılık tespiti, ekipman arıza izleme, siber güvenlik saldırı tespiti ve tıbbi nadir hastalık taraması gibi tipik durumlarda. Yöntem, onaylanmış normal örneklerin küçük bir tohumuyla birlikte makul miktarda etiketlenmemiş normal verinin mevcut olduğu ve bir oracle'ın (insan uzmanı veya otomatik testçi) sorgulanan noktaları etiketleyebildiği durumlarda iyi uyum sağlar. Anomali oranının o kadar düşük olduğu durumlarda kaçının ki aktif sorgular bile nadiren anomaliye ulaşır, özellik uzayının anlamlı bir çekirdek eşlemesi olmadan aşırı derecede yüksek boyutlu olduğu veya insan döngüsü olmadan tamamen otomatik bir işlem hattının gerekli olduğu durumlarda kaçının.
Sınırlar ve dikkat edilmesi gerekenler
- Performans, çekirdek seçimine ve nu hiperparametresine duyarlıdır; kötü varsayılanlar, çok sıkı veya çok gevşek bir sınır verebilir.
- Ölçeklenebilirlik sınırlıdır: OCSVM eğitim maliyeti, destek vektörlerinin sayısıyla kabaca karesel olarak artar, bu da onu büyük veri kümelerinde yavaşlatır.
- İlk etiketlenmiş tohum gerçek normal bölgeyi temsil etmiyorsa, erken sorgular modeli yanlış yönlendirebilir.
- Aktif öğrenme, oracle'ın kullanılabilirliğini ve güvenilirliğini varsayar; gürültülü veya tutarsız etiketleme sınırı bozar.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Etkili bir anomali dedektörü oluşturmak için gereken uzman etiketlerinin sayısını önemli ölçüde azaltır.
- Özellikle RBF çekirdeği olmak üzere çekirdek eşlemeleri yoluyla yüksek boyutlu verileri iyi işler.
- Başlangıçta anomali örneği gerektirmez — yalnızca normal verilerden başlar.
- Aktif sorgu stratejisi, etiketleme çabasını uzayın en karar-ilgili bölgesine odaklar.
- OCSVM sınırı, nu hiperparametresi aracılığıyla eğitim kümesindeki aykırı değerlere karşı dayanıklıdır.
Uygulama alanları
- Sınırlı saldırı etiketleriyle ağ saldırısı ve siber güvenlik anomali tespiti.
- Nadir arıza olaylarıyla sensör akışlarını kullanarak endüstriyel ekipman arıza izleme.
- Onaylanmış dolandırıcılık vakalarının nadir ve etiketlenmesi maliyetli olduğu finansal işlemlerde dolandırıcılık tespiti.
- Uzman etiketleme süresinin bağlayıcı bir kısıtlama olduğu tıbbi nadir hastalık veya nadir olay taraması.
- Başlangıçta yalnızca normal örneklerden oluşan bir derlemin mevcut olduğu görüntü veya metin yenilik tespiti.
Nasıl çalışır?
Nasıl çalışır?
Başlangıçta mevcut olan küçük etiketlenmiş normal örnekler kümesi üzerinde standart bir Tek Sınıflı SVM eğitilir. Çekirdek (tipik olarak RBF) ve sınırın dışındaki eğitim noktalarının kesirini kontrol eden nu hiperparametresi, iterasyon başlamadan önce ayarlanır.
Aktif öğrenme stratejisi, her etiketlenmemiş örneği OCSVM karar sınırına olan mesafesine göre puanlar. Sınıra en yakın noktalar en belirsiz olanlardır; sıralanırlar ve en iyi adaylar oracle için sorgu olarak seçilir. Yaygın stratejiler arasında marj örneklemesi ve yoğunluk ağırlıklı varyantlar bulunur.
Bir alan uzmanı (veya bir kalabalık kaynak platformu gibi düşük maliyetli bir vekil) sorgulanan her örneğe bir etiket — normal veya anormal — atar. Bu adım darboğazdır, bu nedenle sorgu seçimi verimliliği genel maliyeti belirler.
Yeni etiketlenen örnekler eğitim havuzuna eklenir ve Tek Sınıflı SVM yeniden eğitilir. Anomali etiketleri mevcutsa, iki sınıflı bir sınır iyileştirmesi yoluyla dahil edilebilirler; yalnızca normal etiketler eklenirse, sınır onaylanmış normal verilerin etrafında sıkılaşır.
Döngü, bir bütçe (maksimum sorgu sayısı) tükenene, bir doğrulama kümesindeki performans platoya ulaşana veya iterasyonlar arasındaki sınır değişimi bir eşiğin altına düşene kadar tekrarlanır. Son OCSVM, üretim puanlaması için dağıtılır.
Sık yapılan hatalar
- Eğitim kümesinde nu'yu ayrılmış bir doğrulama kümesi olmadan ayarlamak, aşırı iyimser bir sınıra yol açar.
- Yoğunluğu dikkate almadan yalnızca marja göre sorguları seçmek, modelin seyrek, temsilci olmayan bölgelerdeki noktalara sorgu yapmasına neden olur.
- Başlatma sırasında tüm etiketlenmemiş verileri normal olarak ele almak, kontaminasyonu kontrol etmeden.
- Döngüyü çok az sorgudan sonra durdurmak ve performansı küçük bir doğrulama kümesinde kararlıymış gibi raporlamak.
- Normal bölgenin dışbükey olmadığı verilerde doğrusal bir çekirdek kullanmak — çekirdek, normal sınıfın geometrisine uymalıdır.
Sık sorulan sorular
Bu yöntem ile standart bir Tek Sınıflı SVM arasındaki fark nedir?
Standart bir Tek Sınıflı SVM, mevcut tüm etiketlenmiş veriler üzerinde bir kez eğitilir. Aktif öğrenme varyantı yinelenir: küçük bir tohum üzerinde eğitilir, en bilgilendirici etiketlenmemiş noktalara sorgu yapar, etiketleri toplar ve yeniden eğitir. Bu, çok daha az etiketlenmiş örnekle sınırı daha doğru hale getirir.
Başlamak için kaç etiketlenmiş örneğe ihtiyacım var?
Onaylanmış normal örneklerden oluşan birkaç avuç (10-50 kadar az) ilk OCSVM'yi başlatabilir. Aktif döngü daha sonra etiketlenmiş kümeyi stratejik olarak büyütür. Çok az örnekle başlamak, erken sorguları yanlış yönlendiren kararsız bir ilk sınır riski taşır.
Hangi sorgu stratejisini kullanmalıyım?
Mevcut OCSVM karar sınırına en yakın örnekleri sorgulayan marj örneklemesi, en yaygın seçimdir. Girdi uzayının yoğun bölgelerindeki noktaları da tercih eden yoğunluk ağırlıklı varyantlar, verilerin küme yapısı olduğunda saf marj örneklemesinden daha iyi performans gösterme eğilimindedir.
Anomali etiketlerinin nadir olduğu durumlarda performansı nasıl değerlendirmeliyim?
Onaylanmış anomalileri içeren ayrılmış bir doğrulama kümesi üzerinde ROC eğrisinin altındaki alan (AUC-ROC) veya hassasiyet-geri çağırma eğrisinin altındaki alan (AUC-PR) kullanın. Anomaliler nadir olduğunda doğruluk yanıltıcıdır. Hiç anomali etiketi yoksa, düşük boyutlu bir projeksiyonda sınırın görsel incelemesini kullanın.
Ne zaman farklı bir anomali dedektörüne geçmeliyim?
Veri kümesinde birkaç binden fazla örnek varsa, Isolation Forest veya Otomatik Kodlayıcı tabanlı dedektörler daha iyi ölçeklenir. Denetimli eğitim için yeterli etiketlenmiş anomaliye sahipseniz, standart bir ikili SVM veya gradyan artırılmış sınıflandırıcı genellikle OCSVM'den daha iyi performans gösterir.
İlgili yöntemler
Kaynaklar
Schölkopf, B., Platt, J. C., Shawe-Taylor, J., Smola, A. J., & Williamson, R. C. (1999). Estimating the Support of a High-Dimensional Distribution. Neural Computation, 13(7), 1443–1471.
DOI kaynağını açKopyalandı.Settles, B. (2009). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.
Yayın kaynağını açKopyalandı.