Skip to content
กลับไปยังผลการค้นหา

ระเบียบวิธีเกรเดียนต์นโยบาย

ผู้เสนอ
Ronald Williams (REINFORCE); Sutton et al. (policy gradient theorem)
ปี
1992
ประเภท
Policy-based reinforcement learning
กลุ่มวิธี
Reinforcement learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ระเบียบวิธีเกรเดียนต์นโยบาย (Policy gradient methods) เป็นขั้นตอนวิธีในการเรียนรู้แบบเสริมกำลังที่ปรับปรุงนโยบายแบบมีพารามิเตอร์โดยตรงด้วยการไต่ระดับเกรเดียนต์ (gradient ascent) บนผลตอบแทนที่คาดหวัง แทนที่จะเรียนรู้ค่าการกระทำและดำเนินการอย่างโลภ ระเบียบวิธีเหล่านี้มีพื้นฐานมาจากขั้นตอนวิธี REINFORCE ของ Ronald Williams ในปี 1992 และทฤษฎีเกรเดียนต์นโยบายของ Sutton และคณะ (2000) ซึ่งสามารถจัดการกับปริภูมิการกระทำแบบสุ่มและแบบต่อเนื่องได้อย่างเป็นธรรมชาติ และเป็นรากฐานของขั้นตอนวิธี Actor-Critic และ Deep-RL สมัยใหม่

แนวคิดเบื้องหลังวิธีการ

ระเบียบวิธีที่อิงตามค่า (Value-based methods) เช่น Q-learning จะเรียนรู้ว่าการกระทำแต่ละอย่างดีเพียงใดแล้วจึงเลือกสิ่งที่ดีที่สุด แต่เกรเดียนต์นโยบายจะข้ามตัวกลางและปรับนโยบายโดยตรง นโยบายคือการแจกแจงความน่าจะเป็นของการกระทำที่มีพารามิเตอร์ที่ปรับได้ หลังจากดำเนินการและเห็นผลตอบแทนแล้ว คุณจะปรับพารามิเตอร์เพื่อให้การกระทำที่นำไปสู่รางวัลสูงมีแนวโน้มมากขึ้น และการกระทำที่ไม่ดีมีแนวโน้มลดลง ซึ่งเป็นการไต่ระดับเกรเดียนต์บนรางวัลที่คาดหวัง เนื่องจากนโยบายสามารถเป็นการแจกแจงที่หาอนุพันธ์ได้ จึงใช้ได้กับการควบคุมแบบต่อเนื่อง (เช่น มุมบังคับเลี้ยว) ซึ่งการหา 'ค่าสูงสุดของการกระทำ' นั้นไม่สามารถทำได้จริง การลบค่าพื้นฐาน (การประมาณค่า) ช่วยให้เกรเดียนต์ที่มีสัญญาณรบกวนมีความเสถียร

ประวัติศาสตร์

Ronald Williams ได้นำเสนอ REINFORCE ซึ่งเป็นเกรเดียนต์นโยบาย Monte-Carlo ที่เป็นรากฐานในปี 1992 Sutton, McAllester, Singh และ Mansour (2000) ได้พิสูจน์ทฤษฎีเกรเดียนต์นโยบายด้วยการประมาณค่าฟังก์ชัน ซึ่งทำให้นโยบายโครงข่ายประสาทเทียมและตระกูล Actor-Critic เป็นไปได้ แนวทางนี้ขับเคลื่อนความก้าวหน้าของ Deep-RL มานานนับทศวรรษ เช่น A3C, TRPO, PPO, DDPG/SAC และเป็นหัวใจสำคัญของการเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF) ที่ใช้ในการปรับแบบจำลองภาษาขนาดใหญ่ให้สอดคล้องกัน เป็นคู่ตรงข้ามของระเบียบวิธีที่อิงตามนโยบายกับระเบียบวิธีที่อิงตามค่า เช่น Q-learning

ควรใช้เมื่อใด

ใช้ระเบียบวิธีเกรเดียนต์นโยบายเมื่อปริภูมิการกระทำเป็นแบบต่อเนื่องหรือมีมิติสูง เมื่อนโยบายแบบสุ่มเป็นที่ต้องการ (การสำรวจ, การสังเกตบางส่วน, หลายเอเจนต์) หรือเมื่อคุณต้องการปรับปรุงนโยบายแบบ end-to-end ด้วยโครงข่ายประสาทเทียม เช่น การควบคุมหุ่นยนต์, เกณฑ์มาตรฐานการควบคุมแบบต่อเนื่อง, นโยบายการสนทนา/การแนะนำ และเป็นรากฐานของ RLHF สำหรับแบบจำลองภาษา ระเบียบวิธีเหล่านี้ปรับปรุงวัตถุประสงค์โดยตรงและจัดการกับการกระทำแบบต่อเนื่องที่ระเบียบวิธีที่อิงตามค่าประสบปัญหา ค่าใช้จ่าย: การประมาณค่าเกรเดียนต์มีความแปรปรวนสูง (บรรเทาได้ด้วยค่าพื้นฐาน/Critic), โดยทั่วไปแล้วจะเป็นแบบ on-policy และไม่มีประสิทธิภาพในการใช้ตัวอย่าง, ไวต่อขนาดขั้นตอนและการปรับขนาดรางวัล และมีแนวโน้มที่จะติดอยู่ในจุดเหมาะสมที่สุดเฉพาะที่ เมื่อปริภูมิการกระทำมีขนาดเล็กและไม่ต่อเนื่อง Q-learning/DQN ที่อิงตามค่าอาจง่ายกว่าและมีประสิทธิภาพในการใช้ตัวอย่างมากกว่า; รูปแบบ Trust-region (TRPO/PPO) ช่วยแก้ไขปัญหาความไม่เสถียรของขนาดขั้นตอน

ข้อจำกัดและข้อควรพิจารณา

  • การประมาณค่าเกรเดียนต์มีความแปรปรวนสูง; ต้องใช้ค่าพื้นฐานหรือ Critic เพื่อให้ใช้งานได้จริง
  • โดยปกติแล้วจะเป็นแบบ on-policy และไม่มีประสิทธิภาพในการใช้ตัวอย่างเมื่อเทียบกับระเบียบวิธีที่อิงตามค่าแบบ off-policy
  • ไวต่ออัตราการเรียนรู้, การปรับขนาดรางวัล และสามารถลู่เข้าสู่จุดเหมาะสมที่สุดเฉพาะที่ได้
  • ความเสถียรต้องใช้ความระมัดระวัง; ขั้นตอนที่ใหญ่เกินไปอย่างไม่ระมัดระวังอาจทำให้นโยบายล้มเหลว

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ปรับปรุงนโยบายโดยตรง; จัดการกับปริภูมิการกระทำแบบต่อเนื่องและมีมิติสูง
  • แสดงนโยบายแบบสุ่มได้อย่างเป็นธรรมชาติ ช่วยในการสำรวจและการสังเกตบางส่วน
  • ผสานรวมเข้ากับการประมาณค่าฟังก์ชันโครงข่ายประสาทเทียม (Deep RL) ได้อย่างราบรื่น
  • เป็นรากฐานสำหรับขั้นตอนวิธีสมัยใหม่ (A2C/A3C, TRPO, PPO, DDPG) และ RLHF

การประยุกต์ใช้

  • การควบคุมแบบต่อเนื่องในหุ่นยนต์และสภาพแวดล้อมจำลอง
  • การเล่นเกมและการตัดสินใจแบบลำดับที่ซับซ้อน
  • นโยบายการสนทนา การแนะนำ และการโต้ตอบแบบปรับตัว
  • การเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF) สำหรับแบบจำลองภาษา
  • ปัญหาการดำเนินงานและการควบคุมที่มีการกระทำแบบต่อเนื่อง

วิธีการทำงาน

วิธีการทำงาน

1

เป้าหมายคือการเพิ่มค่า J(θ) ซึ่งเป็นผลตอบแทนแบบคิดลดที่คาดหวังของวิถีที่สร้างขึ้นโดยนโยบาย π_θ แตกต่างจากระเบียบวิธีที่อิงตามค่า วัตถุที่ถูกปรับปรุงคือพารามิเตอร์ของนโยบายโดยตรง และนโยบายสามารถเป็นแบบสุ่มและต่อเนื่องได้

สูตร
J(\theta) = \mathbb{E}_{\tau\sim\pi_\theta}\!\left[\textstyle\sum_t \gamma^{t} r_t\right]
2

ทฤษฎีเกรเดียนต์นโยบายแสดงเกรเดียนต์ของผลตอบแทนที่คาดหวังเป็นการคาดหวังของฟังก์ชันคะแนน (เกรเดียนต์ของ log-policy) ที่ถ่วงน้ำหนักด้วยค่าของการกระทำ ที่สำคัญคือเกรเดียนต์ไม่จำเป็นต้องหาอนุพันธ์ของพลวัตของสภาพแวดล้อม ดังนั้นจึงสามารถประมาณได้จากประสบการณ์ที่สุ่มตัวอย่างมา

สูตร
\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\!\left[\nabla_\theta \log \pi_\theta(a\mid s)\, Q^{\pi}(s,a)\right]
3

REINFORCE คือตัวประมาณค่า Monte-Carlo: หลังจากแต่ละตอน สำหรับแต่ละขั้นตอน มันจะเคลื่อนย้ายพารามิเตอร์ไปตามเกรเดียนต์ของ log-policy ที่ปรับขนาดด้วยผลตอบแทนจากขั้นตอนนั้นลบด้วยค่าพื้นฐาน ค่าพื้นฐาน (มักจะเป็นการประมาณค่าสถานะ) ช่วยลดความแปรปรวนโดยไม่เพิ่มอคติ ทำให้เกรเดียนต์ที่มีสัญญาณรบกวนสามารถใช้งานได้

สูตร
\theta \leftarrow \theta + \alpha\,\nabla_\theta \log \pi_\theta(a_t\mid s_t)\,(G_t - b(s_t))
4

ระเบียบวิธี Actor-Critic เรียนรู้สองส่วนพร้อมกัน: Actor (นโยบาย) ที่ปรับปรุงโดยเกรเดียนต์นโยบาย และ Critic (ฟังก์ชันค่า) ที่ให้การประมาณค่าความได้เปรียบ (advantage) ที่มีความแปรปรวนต่ำ (การกระทำดีกว่าค่าเฉลี่ยเท่าใด) การประมาณค่าแบบบูตสแตรปของ Critic เข้ามาแทนที่ผลตอบแทน Monte-Carlo ที่มีความแปรปรวนสูง ทำให้เกิดการเรียนรู้ที่เสถียรและมีประสิทธิภาพในการใช้ตัวอย่างมากขึ้น และเป็นพื้นฐานสำหรับ A2C/A3C, PPO และ DDPG

สูตร
\text{critic estimates } Q^{\pi}/V^{\pi}\ (\text{baseline}),\ \text{actor follows } \nabla_\theta \log\pi_\theta \cdot A

ข้อผิดพลาดที่พบบ่อย

  • ละเว้นค่าพื้นฐาน/Critic ทำให้เกรเดียนต์มีสัญญาณรบกวนมากเกินไปที่จะเรียนรู้ได้
  • นำข้อมูล off-policy กลับมาใช้ใหม่กับตัวประมาณค่า on-policy แบบธรรมดา ทำให้เกรเดียนต์มีอคติ
  • รางวัล/ขนาดขั้นตอนที่ใหญ่หรือไม่ได้ปรับขนาดทำให้เกิดนโยบายที่ไม่เสถียรหรือล้มเหลว
  • การสำรวจไม่เพียงพอเมื่อนโยบายกลายเป็นเกือบจะกำหนดได้ล่วงหน้าก่อนเวลาอันควร

คำถามที่พบบ่อย

เกรเดียนต์นโยบายแตกต่างจาก Q-learning อย่างไร?

Q-learning เรียนรู้ค่าการกระทำและดำเนินการอย่างโลภ; เกรเดียนต์นโยบายจะกำหนดพารามิเตอร์และปรับปรุงนโยบายโดยตรงผ่านการไต่ระดับเกรเดียนต์บนผลตอบแทนที่คาดหวัง เกรเดียนต์นโยบายจัดการกับการกระทำแบบต่อเนื่อง/สุ่มได้อย่างเป็นธรรมชาติ แต่มีความแปรปรวนสูงกว่าและมักจะเป็นแบบ on-policy ในขณะที่ Q-learning เป็นแบบ off-policy และมักจะมีประสิทธิภาพในการใช้ตัวอย่างมากกว่าสำหรับการกระทำที่ไม่ต่อเนื่องขนาดเล็ก

ระเบียบวิธี Actor-Critic คืออะไร?

เป็นการรวมกันของนโยบาย (Actor) ที่ปรับปรุงโดยเกรเดียนต์นโยบาย กับฟังก์ชันค่าที่เรียนรู้ (Critic) ซึ่งประมาณว่าสถานะ/การกระทำดีเพียงใด Critic ให้สัญญาณความได้เปรียบที่มีความแปรปรวนต่ำ ทำให้การเรียนรู้มีเสถียรภาพและรวดเร็วขึ้น A2C/A3C, PPO และ DDPG เป็นขั้นตอนวิธี Actor-Critic

เหตุใดเกรเดียนต์นโยบายจึงใช้ค่าพื้นฐาน?

การประมาณค่าเกรเดียนต์ดิบมีสัญญาณรบกวนมาก การลบค่าพื้นฐาน ซึ่งโดยทั่วไปคือการประมาณค่าสถานะ ออกจากผลตอบแทนจะช่วยลดความแปรปรวนของเกรเดียนต์โดยไม่ก่อให้เกิดอคติ ซึ่งทำให้การเรียนรู้มีเสถียรภาพและมีประสิทธิภาพมากขึ้น ฟังก์ชันความได้เปรียบ (ผลตอบแทนลบค่า) เป็นทางเลือกที่พบบ่อย

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Sutton, R. S., McAllester, D., Singh, S., & Mansour, Y. (2000). Policy gradient methods for reinforcement learning with function approximation. Advances in Neural Information Processing Systems, 12, 1057–1063.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว