İçeriğe atla
Arama sonuçlarına dön

Öz Denetimli Karar Ağacı

Ortaya koyan
Multiple authors (active research area, 2010s–2020s)
Yıl
2015–present
Tür
Self-supervised ensemble/single tree model
Aile
Machine learning

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Öz denetimli karar ağacı öğrenimi, klasik karar ağaçlarının yorumlanabilirliğini, öz denetimli öncül görevler aracılığıyla büyük miktarlarda etiketlenmemiş veriden yararlanma yeteneğiyle birleştirir.

Model, küçük bir etiketli küme üzerinde tahminleri iyileştirmeden önce etiketlenmemiş örneklerden faydalı özellik temsilleri veya düğüm bölme kriterleri öğrenir ve böylece tamamen denetimli ağaçlar ile tamamen denetimsiz kümeleme arasındaki boşluğu doldurur.

Yöntemin mantığı

Standart karar ağaçları her düğümde etiketli örneklere ihtiyaç duyar. Birçok gerçek dünya senaryosunda, etiket toplamak maliyetli ancak ham veri boldur. Öz denetimli karar ağaçları bunu, ağacın öncelikle yardımcı bir görevi çözmesini isteyerek çözer — örneğin, iki örneğin aynı kümeye ait olup olmadığını tahmin etmek veya maskelenmiş özellikleri yeniden yapılandırmak — sadece etiketlenmemiş veriyi kullanarak. Bu öncül aşama, ağaca hangi özelliklerin ve eşiklerin küresel olarak bilgilendirici olduğunu öğretir. Etiketler nihayet geldiğinde, ağaç zaten bir başlangıç avantajına sahiptir ve iyi bir doğruluğa ulaşmak için çok daha az etikete ihtiyaç duyar.

Tarih

Öz denetimli öğrenme, 2010'larda karşılaştırmalı hedefler ve öncül görevler üzerine yapılan çalışmalarla derin öğrenmede öne çıkan bir paradigma haline geldi. Araştırmacılar daha sonra bu fikirleri, etiket kıtlığı rejimlerinde ağaç tabanlı modellerin yorumlanabilirlik avantajlarını geri kazanmak için uyguladılar. Erken formülasyonlar, yarı denetimli öğrenmeden sözde etiketlemeyi ödünç alırken, sonraki varyantlar doğrudan ağaç büyütme kriteri içinde karşılaştırmalı ve yeniden yapılandırma hedeflerini benimsedi ve bu alanı 2020'ler boyunca aktif bir araştırma alanı haline getirdi.

Ne zaman kullanılır?

Etiketli eğitim örneklerinin az olduğu ancak aynı dağılımdan büyük bir etiketlenmemiş havuzun mevcut olduğu ve bir dereceye kadar yorumlanabilirliğin hala gerekli olduğu durumlarda (derin sinir ağları yaklaşımlarını eleyerek) önerilir. Ayrıca, alan uzmanlarının tahmin hedefiyle uyumlu anlamlı öncül görevler tasarlayabildiği durumlarda da uygundur. Etiketli küme zaten büyük olduğunda (standart denetimli ağaçlar performansı eşleştirecek veya aşacaktır), etiketlenmemiş veriler farklı bir dağılımdan geldiğinde veya tablo karşılaştırmalarında maksimum tahmin doğruluğu tek endişe olduğunda (gradyan yükseltme genellikle onu geride bırakacaktır) uygun değildir.

Sınırlar ve dikkat edilmesi gerekenler

  • Performans, öncül görev tasarımına duyarlıdır; kötü seçilmiş bir görev ağaç yapısını yanıltabilir.
  • Etiketlenmemiş dağılım etiketli veriden saparsa, sözde etiket gürültüsü bölmeler aracılığıyla birikir.
  • Öncül eğitim aşaması nedeniyle hesaplama maliyeti standart denetimli ağaçlardan daha yüksektir.
  • Sözde etiket kalitesi ve yakınsama üzerindeki teorik garantiler, tamamen denetimli ağaçlara göre daha az belirlenmiştir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Etiketli örnekler az olduğunda genellemeyi iyileştirmek için bol miktarda etiketlenmemiş veriden yararlanır.
  • Karar ağaçlarının yorumlanabilirliğini korur: bölmeler insan tarafından okunabilir ve denetlenebilir kalır.
  • Alan bilgisine göre uyarlanmış çeşitli öncül görevleri barındıran esnek çerçeve.
  • Ağaç tabanlı tahminlerin şeffaf doğasından ödün vermeden etiketleme maliyetini azaltır.
  • Daha fazla doğruluk kazancı için topluluk uzantılarıyla (rastgele orman, yükseltme) uyumludur.

Uygulama alanları

  • Etiketli hasta kayıtlarının nadir olduğu ancak etiketlenmemiş görüntüleme veya klinik verilerin bol olduğu tıbbi teşhis.
  • Bol miktarda normal çalışma sensör günlüğü ve az sayıda etiketli arıza olayı kullanarak endüstriyel arıza tespiti.
  • Sınırlı açıklamalı metin külliyatı ancak büyük ham metin havuzları ile doğal dil sınıflandırması.
  • İşlem hacmine göre onaylanmış dolandırıcılık etiketlerinin seyrek olduğu finansal dolandırıcılık tespiti.
  • Uzman açıklamasının darboğaz olduğu bilimsel veri analizi (genomik, iklim).

Nasıl çalışır?

Nasıl çalışır?

1

Bir öncül görev, karar ağacının etiketlenmemiş veri üzerinde otomatik olarak oluşturulan denetleyici sinyallerle eğitilebilmesi için tasarlanır. Yaygın seçenekler arasında, önceki bir k-means geçişinden küme üyeliğini tahmin etmek, maskelenmiş veya bozulmuş özellik değerlerini tahmin etmek veya örneklere döndürme/dönüştürme etiketleri atamak bulunur. Öncül görev, ağaç yapısını, insan tarafından sağlanan herhangi bir etiket olmaksızın bilgilendirici bölmeleri keşfetmeye zorlar.

2

Öncül aşamadan sonra, etiketlenmemiş örneklere, zaten öğrenilmiş temsiller veya küme atamaları kullanılarak yüksek güvenilirlikli sözde etiketler atanır. Bu sözde etiketler, sonraki eğitimde yumuşak hedefler olarak ele alınır ve etiketli havuzu küçük bir başlangıç kümesinden çok daha büyük bir çalışma kümesine etkili bir şekilde genişletirken, her etiketin yanı sıra yapısal belirsizlik tahminlerini de yayar.

3

Sözde etiketlerden ve mevcut gerçek etiketlerden gelen birleşik sinyal kullanılarak, karar ağacı standart bir bölme algoritması (örneğin, CART, ID3 veya C4.5) kullanılarak büyütülür. Öncül türetilmiş özellikler veya küme skorları ek girdi boyutları olarak hizmet edebilir, özellik uzayını ham girdilerin ötesinde zenginleştirir ve seyrek etiketler üzerinde tamamen denetimli bir ağacın kaçıracağı bölmelere izin verir.

4

Düğüm bölmeleri, artırılmış eğitim kümesi üzerinde değerlendirilen bir bilgi kriterini — bilgi kazancı, Gini kirliliği veya öz denetimli karşılaştırmalı bir hedefi — maksimize etmek için seçilir. Sözde etiketler, birçok etiketlenmemiş örnekten öğrenilen küresel yapıyı yansıttığı için, bölmeler yalnızca küçük bir etiketli kümeden öğrenilenlere göre daha iyi genelleşme eğilimindedir.

5

İlk ağaç büyütüldükten sonra, bir ince ayar aşaması, yalnızca doğrulanmış etiketli örnekleri kullanarak yaprak tahminlerini yeniden budar veya yeniden ağırlıklandırır. Bu, önceki aşamalarda ortaya çıkan herhangi bir sözde etiket gürültüsünü düzeltir ve nihai tahminlerin yaklaşık sözde etiket sınırları yerine gerçek sınıf sınırlarıyla uyumlu olmasını sağlar.

Sık yapılan hatalar

  • Aşağı akış hedefiyle ilgisiz bir öncül görev tasarlamak, aktarılamayan temsillerle sonuçlanır.
  • Sözde etiketleri güven eşikleme olmadan kullanmak, eğitim kümesini gürültülü örneklerle doldurur.
  • İnce ayar aşamasını atlamak ve sözde etiketle eğitilmiş ağacı doğrudan dağıtmak, bu da sistematik etiketleme hatalarını korur.
  • Etiketli ve etiketlenmemiş havuzlar arasındaki dağılımsal kaymayı göz ardı etmek — sözde etiketler yanlış veri yapısını yansıtacaktır.
  • Yorumlanabilirliği garanti edilmiş olarak ele almak, ancak sözde etiket türetilmiş bölmelerin anlamsal olarak anlamlı kalıp kalmadığını doğrulamamak.

Sık sorulan sorular

Bu, karar ağaçlarıyla yarı denetimli öğrenmeden nasıl farklıdır?

Yarı denetimli yaklaşımlar genellikle etiketleri etiketli düğümlerden etiketlenmemiş düğümlere doğrudan yayar. Öz denetimli karar ağaçları, herhangi bir aşağı akış etiketi görülmeden önce ağaca daha zengin yapısal rehberlik sağlayan, yalnızca etiketlenmemiş veriden sentetik denetleyici sinyaller üreten bir öncül görev tanımlar.

Hangi öncül görevi seçmeliyim?

En iyi öncül görev, aşağı akış hedefini yansıtır. Tablo sınıflandırması için, k-means küme tahmini veya maskelenmiş özellik yeniden yapılandırması yaygın başlangıç noktalarıdır. Alan bilgisi mevcutsa — örneğin, zaman serisi satırlarındaki zamansal sıra — bu yapıyı kullanan bir görev daha iyi aktarılacaktır.

Bu, regresyon hedefleri için çalışır mı?

Evet. Sözde etiketler sürekli küme merkezleri veya yeniden yapılandırılmış özellik değerleri olabilir ve ağaç, ince ayar aşamasında ortalama kare hata kriteriyle büyütülebilir. Öncül görevin sadece sürekli sonuçla ilişkili bir sinyal üretmesi gerekir.

Bunu rastgele ormanlar veya yükseltme ile birleştirebilir miyim?

Evet. Topluluktaki her ağaç, öz denetimli prosedürle bağımsız olarak büyütülebilir ve nihai topluluk, oylarını veya tahminlerini olağan şekilde birleştirir. Bu, bireysel ağaç düzeyinde yorumlanabilirliği korurken, gradyan yükseltmeye karşı doğruluk farkının çoğunu genellikle geri kazandırır.

Sözde etiket kalitesini nasıl değerlendiririm?

İnce ayardan önce, küçük etiketli alt küme üzerindeki sözde etiket doğruluğunu gerçek etiketlerle karşılaştırın. Bu ayrılmış etiketli kümede %70'in altında bir sözde etiket doğruluğu, öncül görevin kötü hizalandığına veya dağılımsal kaymanın mevcut olduğuna dair bir uyarı işaretidir.

İlgili yöntemler

Kaynaklar

  1. Self-supervised learning. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.
  2. Decision tree learning. Wikipedia.

    Yayın kaynağını aç
    Kopyalandı.