Persamaan Hamilton-Jacobi-Bellman
- Diperkenalkan oleh
- Richard Bellman
- Tahun
- 1957
- Jenis
- algorithm
- Keluarga
- Optimal Control
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Persamaan Hamilton-Jacobi-Bellman (HJB) adalah persamaan diferensial parsial yang mengkarakterisasi fungsi biaya optimal hingga tercapai dalam pemrograman dinamis.
Dikembangkan oleh Bellman pada tahun 1957, HJB menyediakan kondisi yang perlu dan cukup untuk optimalitas, memungkinkan analisis teoretis yang elegan dan solusi numerik untuk masalah kontrol optimal. HJB fundamental bagi pembelajaran penguatan (reinforcement learning), pemrograman dinamis aproksimatif, dan kontrol waktu-nyata.
Intuisi di balik metode
Prinsip inti HJB adalah pemrograman dinamis: biaya optimal dari keadaan x pada waktu t sama dengan biaya langsung ditambah biaya optimal dari keadaan baru. Secara formal, jika V(x,t) adalah biaya optimal hingga tercapai dari keadaan x pada waktu t, maka V(x,t) = min_u [L(x,u) + V(x+f(x,u)dt, t+dt)]. Mengambil limit saat dt→0 menghasilkan persamaan HJB: −∂V/∂t = min_u[L(x,u) + (∂V/∂x)^T f(x,u)]. Menyelesaikan HJB memberikan V(x,t), dari mana kontrol optimal u*(x,t) = argmin_u[...] diekstraksi. Berbeda dengan Pontryagin (yang memberikan kondisi perlu), HJB memberikan kondisi cukup: jika Anda menemukan solusi V(x,t), kontrol yang tersirat dijamin optimal.
Sejarah
Bellman mengembangkan pemrograman dinamis dan HJB pada tahun 1950-an, merevolusi teori kontrol optimal. Formulasi HJB memberikan kondisi cukup berbeda dari Pontryagin. Pemecah numerik dikembangkan mulai tahun 1980-an dan seterusnya. Varian modern mencakup solusi viskositas (Lions, Crandall) untuk kasus non-mulus dan skema numerik untuk PDE berdimensi tinggi.
Kapan digunakan
Gunakan HJB untuk sintesis kontrol optimal luring (offline) ketika kecukupan dan jaminan teoretis penting. Ideal untuk sistem nonlinier, masalah waktu-optimal, dan permainan. HJB unggul dalam analisis; untuk komputasi, skema numerik bisa mahal. Gunakan HJB ketika struktur sistem sederhana (dimensi rendah) atau ketika Anda memerlukan fungsi nilai untuk pembelajaran dan kontrol adaptif.
Batasan dan pertimbangan
- Menyelesaikan HJB mahal secara komputasi; kutukan dimensi PDE (memori/komputasi tumbuh secara eksponensial dalam dimensi keadaan).
- Solusi analitik jarang; pemecah PDE numerik kompleks dan mungkin tidak akurat.
- Verifikasi solusi sulit; memeriksa kondisi kecukupan secara numerik tidak dapat diandalkan.
- Tidak ada panduan langsung tentang pemilihan metode numerik; bergantung pada masalah.
- Kondisi terminal atau struktur fungsi nilai harus ditentukan; jika diabaikan, kualitas solusi menurun.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Menyediakan kondisi optimalitas yang perlu dan cukup; solusi dijamin optimal (bukan hanya titik kritis).
- Bekerja untuk sistem nonlinier, berubah terhadap waktu, dan terbatas.
- Fungsi nilai V(x,t) mengkodekan semua informasi tentang perilaku optimal; berguna untuk menganalisis sensitivitas.
- Meluas secara alami ke kontrol stokastik dan permainan diferensial.
- Dasar untuk pembelajaran penguatan dan pemrograman dinamis aproksimatif.
Penerapan
- Dirgantara: Optimalisasi lintasan bahan bakar minimum dengan analisis berbasis HJB untuk kontrol bahan bakar-optimal.
- Robotika: Perencanaan gerak optimal menggunakan gradien fungsi nilai.
- Keuangan: Manajemen portofolio optimal melalui persamaan HJB.
- Teori permainan: Analisis ekuilibrium dalam permainan diferensial.
- Pembelajaran mesin: Fungsi nilai dalam pembelajaran penguatan (HJB aproksimatif melalui jaringan saraf).
Cara kerjanya
Cara kerjanya
Tulis persamaan HJB: −∂V/∂t = min_u[L(x,u) + ∇V^T f(x,u)], dengan kondisi terminal V(x,T)=Φ(x).
Selesaikan persamaan diferensial parsial HJB menggunakan pemisahan variabel, metode karakteristik, atau skema numerik (beda hingga, elemen hingga).
Kontrol optimal adalah u*(x,t) = argmin_u[L(x,u) + ∇V^T f(x,u)]; hukum umpan balik ini diekstraksi dari solusi HJB.
Periksa bahwa V(x,t) memenuhi HJB dan kondisi batas; ini menjamin optimalitas (kondisi cukup).
Kesalahan umum
- Mengasumsikan solusi HJB mudah ditemukan; penyelesaian PDE memerlukan keahlian dan seringkali aproksimasi.
- Menggunakan resolusi grid yang tidak mencukupi dalam skema numerik; pengambilan sampel yang kurang menyebabkan solusi palsu.
- Mencampuradukkan kondisi perlu (Pontryagin) dengan kondisi cukup (HJB); solusi PMP mungkin tidak optimal.
- Mengabaikan solusi viskositas; solusi klasik mungkin tidak ada untuk fungsi biaya yang tidak mulus (nonsmooth).
Pertanyaan yang sering diajukan
Apa itu kutukan dimensi dalam HJB?
HJB adalah PDE dalam ruang keadaan; mendiskretisasi ruang keadaan berdimensi n dengan m titik grid memerlukan m^n sel grid. Untuk n=10, m=100, ini adalah 10^20 sel—tidak mungkin! Ini adalah kutukan dimensi. Mitigasi: gunakan grid renggang (sparse grids), aproksimasi fungsi (jaringan saraf), atau batasi pada subruang berdimensi rendah.
Metode terkait
Sumber
Bellman, R. (1957). Dynamic Programming. Princeton University Press.
Buka referensi publikasiDisalin.Kirk, D. E. (2004). Optimal Control Theory: An Introduction (2nd ed.). Dover Publications.
Buka referensi publikasiDisalin.