Skip to content
Kembali ke hasil pencarian

Pencarian Arsitektur Neural

Diperkenalkan oleh
Zoph, B. & Le, Q.V.
Tahun
2017
Jenis
Automated architecture optimization (deep learning)

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Pencarian Arsitektur Neural (NAS), diperkenalkan oleh Zoph dan Le pada tahun 2017, secara otomatis mengoptimalkan keputusan arsitektural seperti kedalaman, lebar, dan struktur koneksi jaringan alih-alih merancangnya secara manual. Metode terkemuka di bidang ini meliputi DARTS, ENAS, dan Once-for-All.

Intuisi di balik metode

Merancang jaringan dalam secara manual berarti menebak berapa banyak lapisan yang harus ditumpuk, seberapa lebar masing-masing lapisan, dan bagaimana lapisan tersebut harus terhubung — sebuah kerajinan coba-coba yang lambat. NAS mengubah kerajinan ini menjadi masalah pencarian: komputer menjelajahi ruang kandidat arsitektur yang ditentukan, menilai mereka, dan menyatu pada desain yang berkinerja baik, sehingga arsitektur ditemukan daripada ditebak.

Sejarah

Pencarian Arsitektur Neural diperkenalkan oleh Barret Zoph dan Quoc V. Le pada tahun 2017, yang menggunakan pembelajaran penguatan untuk membuat pengendali mengusulkan arsitektur jaringan. Biaya tinggi dari pendekatan tersebut mendorong gelombang metode yang lebih efisien: ENAS memperkenalkan berbagi bobot di antara kandidat, DARTS (Liu et al., 2019) membuat pencarian dapat dibedakan sehingga dapat dioptimalkan dengan penurunan gradien, dan Once-for-All melatih satu jaringan super dari mana sub-jaringan khusus dapat ditarik. Bersama-sama, kemajuan ini mengubah NAS dari keingintahuan penelitian yang membutuhkan komputasi besar menjadi alat yang lebih praktis untuk desain model otomatis.

Kapan digunakan

Gunakan NAS ketika Anda perlu merancang jaringan dalam berkinerja tinggi untuk prediksi atau klasifikasi pada data kontinu atau teks, Anda memiliki dataset besar (sekitar 1000 observasi atau lebih), ruang pencarian terdefinisi dengan baik, dan anggaran komputasi besar dengan sumber daya GPU/TPU tersedia. Dengan sampel kecil, ruang pencarian tidak dapat dievaluasi secara andal dan arsitektur kandidat mengalami overfitting; di bawah sekitar 1000 observasi, Random Forest adalah pilihan yang lebih aman, dan di bawah 500, model standar seperti gradient boosting lebih disukai.

Batasan dan pertimbangan

  • Membutuhkan anggaran komputasi yang besar dan seringkali kluster GPU/TPU.
  • Membutuhkan dataset besar (sekitar 1000+ observasi) untuk mengevaluasi kandidat secara andal.
  • Kualitas sangat bergantung pada ruang pencarian yang terdefinisi dengan baik, yang itu sendiri membutuhkan keahlian.
  • Pada data kecil, arsitektur kandidat mengalami overfitting dan pencarian menjadi tidak dapat diandalkan.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Mengotomatiskan desain arsitektur, menghilangkan coba-coba manual yang lambat.
  • Dapat menemukan jaringan yang mengungguli desain buatan tangan pada tugas target.
  • Asumsi ringan pada data: tidak memerlukan normalitas; menangani input kontinu dan teks.
  • Fleksibel di berbagai tugas dan struktur data setelah ruang pencarian ditentukan.
  • Variasi berbagi bobot dan jaringan super (ENAS, Once-for-All) secara tajam mengurangi biaya pencarian.

Penerapan

  • Merancang jaringan klasifikasi gambar berkinerja tinggi secara otomatis.
  • Mengoptimalkan arsitektur untuk tugas prediksi pada data tabular atau sekuensial besar.
  • Mencari sub-jaringan efisien yang disesuaikan dengan anggaran perangkat keras (misalnya, seluler atau edge).
  • Desain model otomatis di mana penyetelan arsitektur manual tidak praktis.

Cara kerjanya

Cara kerjanya

1

Pertama, ruang pencarian didefinisikan — kumpulan pilihan arsitektural yang diizinkan untuk dipertimbangkan oleh prosedur, seperti jumlah lapisan, lebar setiap lapisan, operasi kandidat, dan bagaimana blok dapat terhubung. Ruang pencarian yang terdefinisi dengan baik sangat penting: jika terlalu sempit, ia mengecualikan desain yang baik, dan jika terlalu luas, pencarian menjadi tidak dapat diatasi.

2

Strategi pencarian kemudian menjelajahi ruang ini untuk menemukan arsitektur yang kuat. NAS awal menggunakan pembelajaran penguatan untuk mengusulkan arsitektur (Zoph dan Le), sementara DARTS membuat pencarian dapat dibedakan dengan melonggarkan pilihan diskrit menjadi bobot kontinu, sehingga penurunan gradien dapat mengoptimalkan parameter arsitektur terhadap kerugian validasi. Tahap ini haus komputasi dan biasanya membutuhkan kluster GPU atau TPU serta anggaran komputasi yang besar.

Rumus
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)
3

Setiap arsitektur kandidat dilatih dan dievaluasi pada data, dan desain berkinerja terbaik dipilih dan dilatih hingga selesai. Karena mengevaluasi banyak kandidat itu mahal, metode seperti ENAS berbagi bobot di antara kandidat dan Once-for-All melatih satu jaringan super dari mana banyak sub-arsitektur dapat diekstraksi, secara drastis memotong biaya pencarian.

Kesalahan umum

  • Menjalankan NAS pada dataset kecil, di mana kandidat mengalami overfitting dan peringkat tidak berarti.
  • Mendefinisikan ruang pencarian yang terlalu luas untuk dijelajahi atau terlalu sempit untuk berisi desain yang baik.
  • Meremehkan biaya komputasi dan menghentikan pencarian sebelum konvergen.
  • Memilih arsitektur pada pemisahan validasi dan tidak melatih ulang serta mengujinya secara bersih.
  • Memilih NAS ketika model standar sudah cukup untuk masalah tersebut.

Pertanyaan yang sering diajukan

Bagaimana NAS berbeda dari penyetelan hyperparameter?

Penyetelan hyperparameter menyesuaikan pengaturan arsitektur tetap, seperti laju pembelajaran atau jumlah pohon. NAS mencari arsitektur itu sendiri — jumlah dan lebar lapisan, operasi, dan bagaimana mereka terhubung — menemukan struktur jaringan daripada hanya menyetel yang dipilih.

Mengapa NAS sangat mahal secara komputasi?

NAS naif melatih dan mengevaluasi banyak arsitektur kandidat, yang masing-masing adalah jaringan dalam penuh. Ini biasanya membutuhkan kluster GPU atau TPU dan anggaran besar. Metode seperti ENAS (berbagi bobot) dan Once-for-All (satu jaringan super) dikembangkan khusus untuk memotong biaya ini.

Berapa banyak data yang saya butuhkan untuk NAS?

NAS mengharapkan dataset besar, sekitar 1000 observasi atau lebih. Dengan kurang dari sekitar 1000, ruang pencarian tidak dapat dievaluasi secara andal dan kandidat mengalami overfitting, sehingga Random Forest lebih aman; di bawah 500, model standar seperti gradient boosting lebih disukai.

Apa kontribusi DARTS?

DARTS membuat pencarian dapat dibedakan dengan melonggarkan pilihan operasi diskrit menjadi bobot kontinu, sehingga arsitektur dapat dioptimalkan dengan penurunan gradien daripada pembelajaran penguatan. Ini membuat pencarian arsitektur jauh lebih cepat daripada pendekatan pembelajaran penguatan asli.

Metode terkait

Sumber

  1. Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.

    Buka referensi publikasi
    Disalin.
  2. Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.

    Buka referensi publikasi
    Disalin.