İçeriğe atla
Arama sonuçlarına dön

Sinirsel Mimari Arama

Ortaya koyan
Zoph, B. & Le, Q.V.
Yıl
2017
Tür
Automated architecture optimization (deep learning)

Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku

Yazı boyutu

Ne işe yarar?

Zoph ve Le tarafından 2017'de tanıtılan Sinirsel Mimari Arama (NAS), ağın derinliği, genişliği ve bağlantı yapısı gibi mimari kararları otomatik olarak optimize eder, bunları elle tasarlamak yerine.

Alandaki önde gelen yöntemler arasında DARTS, ENAS ve Once-for-All bulunur.

Yöntemin mantığı

Bir derin ağı elle tasarlamak, kaç katman istifleneceğini, her birinin ne kadar geniş olacağını ve nasıl bağlanacaklarını tahmin etmek anlamına gelir — yavaş bir deneme yanılma zanaatı. NAS bu zanaatı bir arama problemine dönüştürür: bir bilgisayar aday mimarilerin tanımlanmış bir alanını keşfeder, bunları puanlar ve iyi performans gösteren bir tasarıma yakınsar, böylece mimari tahmin edilmek yerine keşfedilir.

Tarih

Sinirsel Mimari Arama, 2017'de Barret Zoph ve Quoc V. Le tarafından tanıtıldı ve denetleyici ağ mimarilerini önermesi için pekiştirmeli öğrenme kullandılar. Bu yaklaşımın yüksek maliyeti, daha verimli yöntemlerden oluşan bir dalgayı tetikledi: ENAS adaylar arasında ağırlık paylaşımını tanıttı, DARTS (Liu vd., 2019) aramayı farklılaştırılabilir hale getirdi, böylece gradyan inişi ile optimize edilebildi ve Once-for-All, özel alt ağların çekilebileceği tek bir süper ağ eğitti. Bu gelişmeler birlikte NAS'ı muazzam hesaplama gerektiren bir araştırma merakından, otomatik model tasarımı için daha pratik bir araca dönüştürdü.

Ne zaman kullanılır?

Tahmin veya sınıflandırma için yüksek performanslı bir derin ağ tasarlamanız gerektiğinde NAS'ı kullanın, sürekli veya metin verileri üzerinde, büyük bir veri kümeniz olduğunda (yaklaşık 1000 gözlem veya daha fazla), arama alanı iyi tanımlanmış olduğunda ve GPU/TPU kaynaklarıyla büyük bir hesaplama bütçesi mevcut olduğunda. Küçük örneklerle arama alanı güvenilir bir şekilde değerlendirilemez ve aday mimariler aşırı uyum sağlar; yaklaşık 1000 gözlemin altında Rastgele Orman daha güvenli bir seçimdir ve 500'ün altında gradyan artırma gibi standart bir model tercih edilir.

Sınırlar ve dikkat edilmesi gerekenler

  • Büyük bir hesaplama bütçesi ve genellikle bir GPU/TPU kümesi gerektirir.
  • Adayları güvenilir bir şekilde değerlendirmek için büyük bir veri kümesi (yaklaşık 1000+ gözlem) gerektirir.
  • Kalite, büyük ölçüde iyi tanımlanmış bir arama alanına bağlıdır, bu da uzmanlık gerektirir.
  • Küçük verilerde, aday mimariler aşırı uyum sağlar ve arama güvensiz hale gelir.

Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.

Güçlü yönleri

  • Yavaş manuel deneme yanılmayı ortadan kaldırarak mimari tasarımı otomatikleştirir.
  • Hedef görevde elle tasarlanmış tasarımları aşan ağları keşfedebilir.
  • Verilere varsayım açısından hafif: normallik gereksinimi yok; sürekli ve metin girdilerini işler.
  • Arama alanı belirtildikten sonra görevler ve veri yapıları arasında esnektir.
  • Ağırlık paylaşımı ve süper ağ varyantları (ENAS, Once-for-All) arama maliyetini keskin bir şekilde azaltır.

Uygulama alanları

  • Yüksek performanslı görüntü sınıflandırma ağlarını otomatik olarak tasarlamak.
  • Büyük tablosal veya dizi verileri üzerinde tahmin görevleri için mimarileri optimize etmek.
  • Donanım bütçelerine (örn. mobil veya kenar) göre uyarlanmış verimli alt ağları aramak.
  • Manuel mimari ayarlamanın pratik olmadığı otomatik model tasarımı.

Nasıl çalışır?

Nasıl çalışır?

1

Önce bir arama alanı tanımlanır — işlemin dikkate almasına izin verilen mimari seçimler kümesi, örneğin katman sayısı, her katmanın genişliği, aday işlemler ve blokların nasıl bağlanabileceği. İyi tanımlanmış bir arama alanı esastır: çok dar ise iyi tasarımları dışlar ve çok geniş ise arama çözülemez hale gelir.

2

Ardından bir arama stratejisi, güçlü bir mimari bulmak için bu alanı keşfeder. İlk NAS mimarileri önermek için pekiştirmeli öğrenme kullandı (Zoph ve Le), DARTS ise ayrık seçimleri sürekli ağırlıklara gevşeterek aramayı farklılaştırılabilir hale getirdi, böylece gradyan inişi mimari parametrelerini doğrulama kaybına karşı optimize edebilir. Bu aşama hesaplama açısından yoğundur ve tipik olarak bir GPU veya TPU kümesi ve büyük bir hesaplama bütçesi gerektirir.

Formül
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)
3

Her aday mimari veriler üzerinde eğitilir ve değerlendirilir ve en iyi performans gösteren tasarım seçilir ve tamamlanana kadar eğitilir. Birçok adayın değerlendirilmesi pahalı olduğundan, ENAS gibi yöntemler adaylar arasında ağırlıkları paylaşır ve Once-for-All, birçok alt mimarinin çıkarılabileceği tek bir süper ağ eğitir, bu da arama maliyetini önemli ölçüde azaltır.

Sık yapılan hatalar

  • Adayların aşırı uyum sağladığı ve sıralamaların anlamsız olduğu küçük bir veri kümesinde NAS çalıştırmak.
  • Keşfedilemeyecek kadar geniş veya iyi tasarımları içerecek kadar dar bir arama alanı tanımlamak.
  • Hesaplama maliyetini hafife almak ve arama yakınsamadan durdurmak.
  • Bir doğrulama bölümünde bir mimari seçmek ve onu temiz bir şekilde yeniden eğitip test etmemek.
  • Standart bir modelin sorun için zaten yeterli olacağı durumlarda NAS'a yönelmek.

Sık sorulan sorular

NAS, hiperparametre ayarlamasından nasıl farklıdır?

Hiperparametre ayarlaması, öğrenme oranı veya ağaç sayısı gibi sabit bir mimarinin ayarlarını yapar. NAS, katman sayısı ve genişliği, işlemler ve nasıl bağlandıkları gibi mimarinin kendisi üzerinde arama yapar — seçilen birini ayarlamak yerine ağ yapısını keşfeder.

NAS neden bu kadar hesaplama açısından pahalıdır?

Saf NAS, her biri tam bir derin ağ olan birçok aday mimariyi eğitir ve değerlendirir. Bu genellikle bir GPU veya TPU kümesi ve büyük bir bütçe gerektirir. ENAS (ağırlık paylaşımı) ve Once-for-All (tek bir süper ağ) gibi yöntemler, bu maliyeti düşürmek için özel olarak geliştirilmiştir.

NAS için ne kadar veriye ihtiyacım var?

NAS, büyük bir veri kümesi, yaklaşık 1000 gözlem veya daha fazlasını bekler. Yaklaşık 1000'den az olduğunda, arama alanı güvenilir bir şekilde değerlendirilemez ve adaylar aşırı uyum sağlar, bu nedenle Rastgele Orman daha güvenlidir; 500'ün altında gradyan artırma gibi standart bir model tercih edilir.

DARTS ne katkıda bulunur?

DARTS, işlemlerin ayrık seçimini sürekli ağırlıklara gevşeterek aramayı farklılaştırılabilir hale getirir, böylece mimari pekiştirmeli öğrenme yerine gradyan inişi ile optimize edilebilir. Bu, mimari aramayı orijinal pekiştirmeli öğrenme yaklaşımından çok daha hızlı hale getirdi.

İlgili yöntemler

Kaynaklar

  1. Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.

    Yayın kaynağını aç
    Kopyalandı.
  2. Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.

    Yayın kaynağını aç
    Kopyalandı.