Skip to content
Kembali ke hasil pencarian

Optimisasi Stokastik — Varian SGD dan Lainnya

Tahun
1951 (SGD); 2014 (Adam)
Jenis
Gradient-based iterative optimization

Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris

Ukuran huruf

Apa fungsinya?

Optimisasi stokastik adalah keluarga metode iteratif yang meminimalkan fungsi objektif dengan menghitung gradien pada subset data yang diambil secara acak — mini-batch — alih-alih pada seluruh kumpulan data sekaligus.

Dipelopori oleh Robbins dan Monro pada tahun 1951 sebagai aproksimasi stokastik, pendekatan ini menjadi mesin standar untuk melatih model pembelajaran mesin berskala besar melalui varian seperti SGD dengan momentum, AdaGrad, RMSProp, dan Adam.

Intuisi di balik metode

Bayangkan Anda ingin menemukan titik terendah di lanskap perbukitan yang luas, tetapi mengukur kemiringan seluruh lanskap di setiap langkah sangat mahal. Optimisasi stokastik bekerja dengan mengukur kemiringan pada sebagian kecil tanah yang diambil secara acak, mengambil langkah menuruni bukit, dan mengulangi proses berkali-kali. Setiap langkah individu lebih berisik daripada mengukur seluruh lanskap, tetapi banyaknya langkah murah membuat Anda mencapai dasar lebih cepat daripada beberapa pengukuran akurat yang mahal. Varian adaptif seperti Adam melangkah lebih jauh dengan mengingat seberapa bergelombang setiap arah dan menyesuaikan langkah mereka sesuai dengan itu.

Sejarah

Optimisasi stokastik berawal dari Robbins dan Monro (1951), yang membuktikan bahwa estimasi gradien iteratif konvergen ke titik stasioner fungsi di bawah kondisi ringan — mendirikan bidang aproksimasi stokastik. Penurunan gradien stokastik menjadi banyak digunakan dalam pembelajaran mesin melalui karya Bottou pada tahun 1990-an pada model linier berskala besar. Era pembelajaran mendalam meningkatkan permintaan untuk metode adaptif yang efisien: Duchi et al. memperkenalkan AdaGrad pada tahun 2011, Tieleman dan Hinton mengusulkan RMSProp pada tahun 2012, dan Kingma dan Ba menerbitkan Adam pada tahun 2014, yang dengan cepat menjadi pengoptimal default untuk pelatihan jaringan saraf karena ketahanannya di berbagai arsitektur dan tugas.

Kapan digunakan

Optimisasi stokastik berlaku kapan pun Anda perlu meminimalkan fungsi kerugian yang dapat didiferensiasi (atau sub-diferensiabel) pada kumpulan data besar di mana perhitungan gradien eksak pada seluruh kumpulan data di setiap langkah secara komputasi tidak mungkin dilakukan. Ini adalah pendekatan standar untuk melatih jaringan saraf, model linier dengan data besar, dan model parametrik apa pun yang disesuaikan dengan penurunan gradien. Objektif harus mengakui gradien atau subgradien; metode ini tidak berlaku untuk masalah kotak hitam yang tidak dapat didiferensiasi. Pemilihan laju pembelajaran sangat penting — laju yang terlalu besar menyebabkan divergensi, laju yang terlalu kecil memperlambat konvergensi.

Batasan dan pertimbangan

  • Laju pembelajaran adalah hiperparameter penting; pilihan yang buruk menyebabkan divergensi atau konvergensi yang sangat lambat.
  • Kebisingan gradien mini-batch dapat mencegah konvergensi ke minimum yang tepat — pengoptimal biasanya berosilasi di dekat optimum daripada menetap secara presisi.
  • Titik pelana dan minimum lokal yang buruk adalah risiko nyata dalam lanskap non-konveks, meskipun kebisingan gradien dan momentum membantu menguranginya.
  • Adam dan metode adaptif lainnya dapat konvergen ke minimum yang lebih tajam yang menggeneralisasi lebih buruk daripada minimum yang lebih datar yang ditemukan oleh SGD biasa dengan penyesuaian yang cermat.

Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.

Kelebihan

  • Skalabilitas ke kumpulan data yang sangat besar karena setiap pembaruan hanya menggunakan mini-batch, bukan seluruh data.
  • Kebisingan gradien dari pengambilan sampel mini-batch dapat membantu keluar dari minimum lokal yang dangkal dan titik pelana.
  • Varian adaptif (Adam, RMSProp) mengurangi beban penyesuaian laju pembelajaran manual dengan menyesuaikan ukuran langkah per-parameter secara otomatis.
  • Didukung secara luas di semua kerangka kerja pembelajaran mendalam utama dan dipahami dengan baik secara teoritis.

Penerapan

  • Melatih jaringan saraf dari semua kedalaman — dari regresi logistik hingga model bahasa besar.
  • Menyesuaikan model linier dan linier umum berskala besar di mana penurunan gradien batch penuh secara komputasi tidak mungkin dilakukan.
  • Pengaturan pembelajaran online di mana data datang dalam aliran dan model harus diperbarui secara bertahap.
  • Metode gradien kebijakan pembelajaran penguatan, di mana Adam dan RMSProp adalah pilihan standar.
  • Sistem rekomendasi dan model embedding yang dilatih pada kumpulan data jarang yang masif.

Cara kerjanya

Cara kerjanya

1

Vektor parameter diinisialisasi — biasanya dengan nilai acak kecil. Laju pembelajaran (ukuran langkah) dan, untuk varian adaptif, laju peluruhan momen ditetapkan sebagai hiperparameter sebelum pelatihan dimulai. Pilihan ini memiliki efek besar pada kecepatan konvergensi dan kinerja akhir.

2

Pada setiap iterasi, mini-batch — subset acak kecil dari kumpulan data penuh — diambil. Ukuran mini-batch mengontrol keseimbangan: batch yang lebih kecil memperkenalkan lebih banyak kebisingan gradien tetapi memperbarui parameter lebih sering dan sering kali menggeneralisasi lebih baik, sementara batch yang lebih besar memberikan estimasi varians yang lebih rendah dengan biaya per-iterasi yang lebih tinggi.

3

Gradien fungsi objektif (kerugian) terhadap parameter saat ini dihitung menggunakan mini-batch. Untuk pengoptimal adaptif, estimasi momen pertama dan kedua dari gradien juga dipertahankan di seluruh iterasi untuk melacak informasi skala dan kelengkungan per-parameter.

4

Parameter diperbarui dengan bergerak berlawanan arah dengan gradien, diskalakan oleh laju pembelajaran. Varian adaptif (AdaGrad, RMSProp, Adam) membagi langkah setiap parameter dengan estimasi berjalan dari magnitudo gradien sebelumnya, secara efektif memberikan langkah yang lebih besar ke parameter yang jarang diperbarui dan langkah yang lebih kecil di mana gradien besar dan konsisten.

5

Proses berulang — pengambilan sampel, perhitungan gradien, dan pembaruan parameter — hingga kriteria konvergensi terpenuhi: kerugian berhenti menurun, jumlah maksimum iterasi tercapai, atau kinerja validasi berhenti meningkat. Penghentian dini pada set validasi yang ditahan melindungi dari overfitting.

Kesalahan umum

  • Menetapkan laju pembelajaran terlalu tinggi menyebabkan kerugian menyimpang atau berosilasi liar; selalu pantau kurva kerugian selama pelatihan.
  • Lupa mengacak data sebelum setiap epoch dapat menimbulkan bias periodik dalam estimasi gradien.
  • Menggunakan laju pembelajaran tetap selama pelatihan sering kali menyisakan kinerja — jadwal laju pembelajaran (pemanasan, peluruhan kosinus) secara konsisten meningkatkan hasil akhir.
  • Membandingkan pengoptimal secara adil memerlukan pencocokan jumlah total evaluasi gradien (atau waktu dinding), bukan hanya jumlah epoch.
  • Tingkat adaptif Adam dapat menekan sinyal gradien yang berguna dalam pengaturan yang jarang; SGD dengan momentum terkadang menggeneralisasi lebih baik untuk tugas klasifikasi gambar.

Pertanyaan yang sering diajukan

Pengoptimal mana yang harus saya pilih — SGD, Adam, atau yang lain?

Adam adalah pilihan aman untuk sebagian besar tugas pembelajaran mendalam: ia tahan terhadap pilihan laju pembelajaran dan konvergen dengan cepat. SGD dengan momentum dan jadwal laju pembelajaran yang disesuaikan sering kali mencapai generalisasi akhir yang sedikit lebih baik pada tolok ukur klasifikasi gambar, tetapi memerlukan penyesuaian yang lebih hati-hati. AdaGrad cocok untuk masalah gradien jarang (misalnya, NLP dengan fitur bag-of-words), sementara RMSProp bekerja dengan baik dalam pelatihan jaringan berulang.

Bagaimana cara memilih laju pembelajaran?

Laju pembelajaran adalah hiperparameter terpenting. Praktik umum adalah memulai dengan 1e-3 untuk Adam dan 1e-1 untuk SGD, kemudian gunakan pencari laju pembelajaran atau pencarian grid. Menerapkan fase pemanasan diikuti oleh peluruhan kosinus atau langkah hampir selalu meningkatkan hasil dibandingkan dengan laju tetap.

Ukuran mini-batch berapa yang harus saya gunakan?

Ukuran batch antara 32 dan 256 adalah umum. Batch yang lebih kecil memperkenalkan lebih banyak kebisingan gradien (yang dapat membantu generalisasi) dan memungkinkan pembaruan yang lebih sering; batch yang lebih besar mengurangi kebisingan tetapi mungkin menggeneralisasi kurang baik dan memerlukan penskalaan laju pembelajaran yang lebih hati-hati. Saat menggandakan ukuran batch, skala laju pembelajaran secara proporsional (aturan penskalaan linier) sebagai titik awal.

Bagaimana saya tahu kapan harus menghentikan pelatihan?

Pantau kerugian validasi dan berhenti ketika tidak lagi meningkat selama sejumlah epoch berturut-turut — teknik yang disebut penghentian dini. Ini lebih andal daripada berhenti pada jumlah epoch tetap dan melindungi dari overfitting.

Metode terkait

Sumber

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    Buka referensi DOI
    Disalin.
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    Buka referensi publikasi
    Disalin.