Pembelajaran Penguatan
- Diperkenalkan oleh
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- Tahun
- 1950s–1998
- Jenis
- Sequential decision-making framework
- Keluarga
- Deep learning / NLP / CV
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Pembelajaran Penguatan (RL) adalah sebuah kerangka kerja di mana agen belajar membuat keputusan sekuensial dengan berinteraksi dengan lingkungan, menerima sinyal imbalan skalar, dan memperbarui kebijakan untuk memaksimalkan imbalan kumulatif di masa depan.
Berbeda dengan pembelajaran terarah, tidak ada contoh berlabel yang diberikan; agen menemukan perilaku optimal sepenuhnya melalui pengalaman dan umpan balik yang tertunda.
Intuisi di balik metode
Bayangkan melatih seekor anjing: Anda tidak menjelaskan setiap tindakan; Anda memberi imbalan pada perilaku baik dan membiarkannya mencari tahu apa yang harus dilakukan. Pembelajaran Penguatan bekerja dengan cara yang sama. Agen mencoba tindakan di lingkungan, mengamati apa yang terjadi, dan menerima imbalan — positif untuk hasil yang diinginkan, negatif untuk kesalahan. Melalui banyak interaksi, ia belajar tindakan mana dalam situasi mana yang cenderung menghasilkan imbalan terbanyak, membangun strategi — yang disebut kebijakan — tanpa memerlukan kumpulan data berlabel yang sudah jadi berisi jawaban yang benar.
Sejarah
Pembelajaran Penguatan berakar pada pemrograman dinamis Bellman (1957) dan psikologi pembelajaran hewan. Sutton dan Barto memformalkan kerangka kerja modern dalam buku teks mereka tahun 1998, menyatukan pembelajaran perbedaan temporal, pembelajaran Q, dan metode gradien kebijakan. Bidang ini bertransformasi pada tahun 2013–2015 ketika DQN DeepMind menggabungkan CNN dalam dengan pembelajaran Q untuk mencapai kinerja Atari setingkat manusia, meluncurkan pembelajaran penguatan dalam sebagai arah penelitian utama. AlphaGo (2016) dan pekerjaan RLHF selanjutnya pada model bahasa besar semakin memperluas jangkauan RL.
Kapan digunakan
Gunakan pembelajaran penguatan ketika tugasnya adalah pengambilan keputusan sekuensial dengan imbalan yang tertunda dan tidak ada data pelatihan berlabel: permainan, kontrol robotik, penjadwalan sumber daya, pengurutan rekomendasi, atau penyempurnaan model bahasa dengan umpan balik manusia (RLHF). RL sesuai ketika lingkungan dapat disimulasikan dengan murah dan agen dapat berinteraksi berkali-kali. JANGAN gunakan RL ketika pendekatan terarah atau swa-terarah dapat menyelesaikan masalah — RL tidak efisien dalam sampel dan tidak stabil; ketika fungsi imbalan sulit ditentukan; ketika interaksi dengan lingkungan nyata mahal atau berbahaya tanpa simulator; atau ketika kumpulan data statis dan tetap (gunakan RL offline dengan hati-hati).
Batasan dan pertimbangan
- Sangat tidak efisien dalam sampel: mungkin memerlukan jutaan interaksi lingkungan untuk konvergen.
- Pelatihan seringkali tidak stabil dan sensitif terhadap hiperparameter, pembentukan imbalan, dan benih acak.
- Desain fungsi imbalan itu sulit; imbalan yang ditentukan dengan buruk menyebabkan optimalisasi yang tidak diinginkan (peretasan imbalan).
- Generalisasi ke keadaan atau lingkungan yang tidak terlihat tidak dijamin.
- Penerapan di dunia nyata berisiko tanpa simulasi ekstensif; eksplorasi dapat menyebabkan tindakan berbahaya.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Belajar langsung dari interaksi tanpa data berlabel, membuatnya dapat diterapkan di mana anotasi tidak mungkin dilakukan.
- Mampu menemukan strategi super-manusia dalam tugas-tugas sekuensial yang kompleks (permainan, robotika, penjadwalan).
- Secara alami memodelkan perencanaan jangka panjang dan penugasan kredit temporal.
- Dapat diskalakan ke ruang keadaan berdimensi tinggi (piksel, teks) ketika dikombinasikan dengan jaringan saraf dalam.
- RLHF memungkinkan penyelarasan model bahasa besar dengan preferensi manusia.
Penerapan
- Permainan dan strategi: Atari, Go, catur, StarCraft pada tingkat super-manusia.
- Robotika: lokomosi, manipulasi, dan kontrol tangan yang cekatan.
- Penyelarasan model bahasa besar melalui Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF).
- Penjadwalan sumber daya dan jaringan, optimalisasi pendinginan pusat data.
- Sistem rekomendasi yang dipersonalisasi memodelkan keterlibatan pengguna jangka panjang.
- Simulasi mengemudi otonom dan kontrol sinyal lalu lintas.
Cara kerjanya
Cara kerjanya
Pada setiap langkah waktu, agen mengamati keadaan lingkungan saat ini dan memilih tindakan sesuai dengan kebijakan saat ini. Lingkungan bertransisi ke keadaan baru dan mengeluarkan imbalan skalar. Siklus pengamatan-tindakan-imbalan ini berulang, menghasilkan lintasan pengalaman yang digunakan untuk meningkatkan kebijakan.
Tujuan agen adalah memaksimalkan imbalan kumulatif yang didiskontokan G_t, yang menjumlahkan semua imbalan di masa depan yang dibobot oleh faktor diskonto gamma antara 0 dan 1. Gamma yang mendekati 1 membuat agen berpandangan jauh ke depan; gamma kecil membuatnya fokus pada imbalan segera. Pembentukan imbalan yang cermat sangat penting karena agen mengoptimalkan sinyal apa pun yang diterimanya.
Rumus
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}Kebijakan pi memetakan keadaan ke tindakan (atau probabilitas tindakan). Kebijakan ini dapat direpresentasikan sebagai tabel pencarian untuk masalah diskrit kecil, atau sebagai jaringan saraf dalam — agen RL dalam — untuk keadaan berdimensi tinggi seperti gambar atau teks. Kebijakan adalah apa yang dipelajari agen dan pada akhirnya apa yang diterapkan.
Rumus
\pi(a \mid s) = P(A_t = a \mid S_t = s)
Fungsi nilai memperkirakan seberapa baik suatu keadaan (atau pasangan keadaan-tindakan) di bawah kebijakan tertentu. Nilai keadaan V(s) adalah imbalan kumulatif yang diharapkan mulai dari keadaan s dan seterusnya. Fungsi nilai tindakan Q(s, a) memperluas ini ke tindakan tertentu. Perkiraan ini memandu peningkatan kebijakan dalam metode seperti Q-learning, SARSA, dan algoritma aktor-kritikus.
Rumus
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]Agen memperbarui kebijakannya menggunakan pengalaman yang dikumpulkan. Metode berbasis nilai (misalnya, DQN) menurunkan kebijakan secara implisit dari nilai Q; metode gradien kebijakan (misalnya, REINFORCE, PPO) secara langsung menyesuaikan parameter kebijakan untuk meningkatkan probabilitas lintasan imbalan tinggi. Sebagian besar algoritma modern menggabungkan keduanya dalam arsitektur aktor-kritikus.
Kesalahan umum
- Menentukan fungsi imbalan yang mudah dioptimalkan tetapi tidak selaras dengan tujuan sebenarnya (peretasan imbalan).
- Melewatkan lingkungan simulasi yang disetel dengan baik dan langsung ke perangkat keras nyata, yang mengarah pada kegagalan yang mahal.
- Memilih RL ketika pendekatan pembelajaran terarah atau imitasi akan jauh lebih efisien dalam sampel.
- Mengabaikan reproduktibilitas: hasil RL sangat bervariasi di seluruh benih acak; selalu laporkan beberapa kali percobaan.
- Memperlakukan kurva pelatihan dari satu kali percobaan sebagai bukti konvergensi tanpa episode evaluasi yang ditahan.
Pertanyaan yang sering diajukan
Apa yang membedakan pembelajaran penguatan dari pembelajaran terarah?
Pembelajaran terarah memerlukan pasangan input-output berlabel dan mempelajari pemetaan tetap. RL tidak memerlukan label; sebaliknya agen menerima sinyal imbalan setelah tindakan dan harus menemukan apa yang harus dilakukan melalui coba-coba, membuatnya cocok untuk masalah keputusan sekuensial di mana tindakan yang benar tidak diketahui sebelumnya.
Apa perbedaan antara RL bebas model dan berbasis model?
RL bebas model (misalnya, DQN, PPO) mempelajari kebijakan atau fungsi nilai langsung dari pengalaman tanpa model eksplisit dari dinamika lingkungan. RL berbasis model mempelajari atau diberi model transisi dan menggunakannya untuk perencanaan. Metode berbasis model cenderung lebih efisien dalam sampel tetapi memerlukan model yang akurat, yang bisa sulit dipelajari.
Bagaimana cara memilih antara metode berbasis nilai dan gradien kebijakan?
Metode berbasis nilai seperti DQN bekerja dengan baik dengan ruang tindakan diskrit dan relatif stabil. Metode gradien kebijakan (REINFORCE, PPO, SAC) menangani ruang tindakan kontinu secara alami dan dapat mempelajari kebijakan stokastik. Metode aktor-kritikus menggabungkan keduanya. Untuk sebagian besar aplikasi modern, PPO atau SAC adalah titik awal yang aman.
Berapa banyak interaksi lingkungan yang biasanya dibutuhkan RL?
RL terkenal haus sampel. Tugas tabular sederhana mungkin konvergen dalam ribuan langkah; Atari DQN membutuhkan puluhan juta frame; tugas robotika yang kompleks bisa membutuhkan ratusan juta langkah simulasi. Hal ini membuat simulator yang cepat menjadi penting dan menyingkirkan RL untuk banyak masalah dunia nyata dengan interaksi yang mahal.
Apa itu RLHF dan mengapa itu penting?
Pembelajaran Penguatan dari Umpan Balik Manusia melatih model imbalan dari perbandingan preferensi manusia dan kemudian menyempurnakan model bahasa dengan RL untuk memaksimalkan imbalan yang dipelajari tersebut. Ini adalah teknik dominan untuk menyelaraskan model bahasa besar dengan nilai-nilai manusia dan merupakan inti dari model seperti InstructGPT dan Claude.
Metode terkait
Sumber
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6Disalin.Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
Buka referensi DOIDisalin.