Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้แบบเสริมกำลัง

ผู้เสนอ
Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
ปี
1950s–1998
ประเภท
Sequential decision-making framework
กลุ่มวิธี
Deep learning / NLP / CV

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้แบบเสริมกำลัง (RL) เป็นกรอบการทำงานที่เอเจนต์เรียนรู้ที่จะตัดสินใจตามลำดับโดยการโต้ตอบกับสภาพแวดล้อม ได้รับสัญญาณรางวัลแบบสเกลาร์ และปรับปรุงนโยบายเพื่อเพิ่มรางวัลสะสมในอนาคต ซึ่งแตกต่างจากการเรียนรู้แบบมีผู้สอน จะไม่มีการให้ตัวอย่างที่มีป้ายกำกับ เอเจนต์จะค้นพบพฤติกรรมที่เหมาะสมที่สุดผ่านประสบการณ์และการตอบรับที่ล่าช้าเท่านั้น

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการฝึกสุนัข: คุณไม่ได้อธิบายทุกการกระทำ คุณให้รางวัลพฤติกรรมที่ดีและปล่อยให้มันคิดว่าจะทำอย่างไร การเรียนรู้แบบเสริมกำลังก็ทำงานเช่นเดียวกัน เอเจนต์จะลองดำเนินการในสภาพแวดล้อม สังเกตสิ่งที่เกิดขึ้น และได้รับรางวัล — เป็นบวกสำหรับผลลัพธ์ที่ต้องการ และเป็นลบสำหรับข้อผิดพลาด ตลอดการโต้ตอบหลายครั้ง มันจะเรียนรู้ว่าการดำเนินการใดในสถานการณ์ใดมีแนวโน้มที่จะนำไปสู่รางวัลสูงสุด โดยสร้างกลยุทธ์ — เรียกว่านโยบาย — โดยไม่จำเป็นต้องมีชุดข้อมูลที่ติดป้ายกำกับล่วงหน้าของคำตอบที่ถูกต้อง

ประวัติศาสตร์

การเรียนรู้แบบเสริมกำลังมีรากฐานมาจาก dynamic programming ของ Bellman (1957) และจิตวิทยาการเรียนรู้ของสัตว์ Sutton และ Barto ได้กำหนดกรอบการทำงานสมัยใหม่ในตำราปี 1998 ของพวกเขา โดยรวม temporal-difference learning, Q-learning และ policy-gradient methods เข้าด้วยกัน สาขานี้ได้เปลี่ยนแปลงไปในช่วงปี 2013–2015 เมื่อ DQN ของ DeepMind รวม CNN เชิงลึกเข้ากับ Q-learning เพื่อให้ได้ประสิทธิภาพระดับมนุษย์ใน Atari ซึ่งเป็นการเปิดตัว deep reinforcement learning ในฐานะทิศทางการวิจัยที่สำคัญ AlphaGo (2016) และงาน RLHF ต่อมาเกี่ยวกับแบบจำลองภาษาขนาดใหญ่ได้ขยายขอบเขตของ RL ให้กว้างขึ้น

ควรใช้เมื่อใด

ใช้การเรียนรู้แบบเสริมกำลังเมื่อภารกิจเป็นการตัดสินใจตามลำดับพร้อมรางวัลที่ล่าช้าและไม่มีข้อมูลการฝึกอบรมที่มีป้ายกำกับ: การเล่นเกม, การควบคุมหุ่นยนต์, การจัดตารางทรัพยากร, การจัดลำดับคำแนะนำ, หรือการปรับแต่งแบบจำลองภาษาด้วยข้อเสนอแนะจากมนุษย์ (RLHF) RL เหมาะสมเมื่อสภาพแวดล้อมสามารถจำลองได้ในราคาถูกและเอเจนต์สามารถโต้ตอบได้หลายครั้ง อย่าใช้ RL เมื่อวิธีการแบบมีผู้สอนหรือแบบเรียนรู้ด้วยตนเองสามารถแก้ปัญหาได้ — RL ใช้ตัวอย่างได้ไม่มีประสิทธิภาพและไม่เสถียร เมื่อฟังก์ชันรางวัลระบุได้ยาก เมื่อการโต้ตอบกับสภาพแวดล้อมจริงมีค่าใช้จ่ายสูงหรืออันตรายหากไม่มีโปรแกรมจำลอง หรือเมื่อชุดข้อมูลคงที่และตายตัว (ใช้ offline RL ด้วยความระมัดระวัง)

ข้อจำกัดและข้อควรพิจารณา

  • ใช้ตัวอย่างได้ไม่มีประสิทธิภาพอย่างยิ่ง: อาจต้องมีการโต้ตอบกับสภาพแวดล้อมหลายล้านครั้งเพื่อให้บรรลุผล
  • การฝึกอบรมมักไม่เสถียรและไวต่อไฮเปอร์พารามิเตอร์, การกำหนดรูปร่างรางวัล, และเมล็ดพันธุ์สุ่ม
  • การออกแบบฟังก์ชันรางวัลเป็นเรื่องยาก รางวัลที่ระบุไม่ถูกต้องทำให้เกิดการปรับให้เหมาะสมโดยไม่ได้ตั้งใจ (reward hacking)
  • ไม่รับประกันการสรุปผลไปยังสถานะหรือสภาพแวดล้อมที่ไม่เคยพบเห็น
  • การนำไปใช้ในโลกแห่งความเป็นจริงมีความเสี่ยงหากไม่มีการจำลองอย่างกว้างขวาง การสำรวจอาจนำไปสู่การกระทำที่เป็นอันตราย

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้โดยตรงจากการโต้ตอบโดยไม่มีข้อมูลที่มีป้ายกำกับ ทำให้สามารถนำไปใช้ได้ในกรณีที่ไม่สามารถติดป้ายกำกับได้
  • สามารถค้นพบกลยุทธ์เหนือมนุษย์ในงานตามลำดับที่ซับซ้อน (เกม, หุ่นยนต์, การจัดตารางเวลา)
  • สร้างแบบจำลองการวางแผนระยะยาวและการกำหนดเครดิตตามเวลาได้อย่างเป็นธรรมชาติ
  • ปรับขนาดให้เข้ากับพื้นที่สถานะที่มีมิติสูง (พิกเซล, ข้อความ) เมื่อรวมกับโครงข่ายประสาทเทียมเชิงลึก
  • RLHF ช่วยให้แบบจำลองภาษาขนาดใหญ่สอดคล้องกับความชอบของมนุษย์

การประยุกต์ใช้

  • การเล่นเกมและกลยุทธ์: Atari, Go, หมากรุก, StarCraft ในระดับเหนือมนุษย์
  • หุ่นยนต์: การเคลื่อนที่, การจัดการ, และการควบคุมมือที่คล่องแคล่ว
  • การจัดแนวแบบจำลองภาษาขนาดใหญ่ผ่านการเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF)
  • การจัดตารางทรัพยากรและเครือข่าย, การเพิ่มประสิทธิภาพการระบายความร้อนของศูนย์ข้อมูล
  • ระบบแนะนำส่วนบุคคลที่สร้างแบบจำลองการมีส่วนร่วมของผู้ใช้ในระยะยาว
  • การจำลองการขับขี่อัตโนมัติและการควบคุมสัญญาณไฟจราจร

วิธีการทำงาน

วิธีการทำงาน

1

ในแต่ละขั้นเวลา เอเจนต์จะสังเกตสถานะปัจจุบันของสภาพแวดล้อมและเลือกการดำเนินการตามนโยบายปัจจุบัน สภาพแวดล้อมจะเปลี่ยนไปสู่สถานะใหม่และส่งสัญญาณรางวัลแบบสเกลาร์ วงจรของการสังเกต-ดำเนินการ-รางวัลนี้จะซ้ำไปเรื่อยๆ สร้างเส้นทางประสบการณ์ที่ใช้ในการปรับปรุงนโยบาย

2

วัตถุประสงค์ของเอเจนต์คือการเพิ่มรางวัลสะสมที่คิดลดทอน G_t ซึ่งรวมรางวัลในอนาคตทั้งหมดโดยถ่วงน้ำหนักด้วยปัจจัยลดทอนแกมมา (gamma) ระหว่าง 0 ถึง 1 แกมมาที่ใกล้เคียง 1 ทำให้เอเจนต์มองการณ์ไกล แกมมาที่น้อยทำให้เอเจนต์มุ่งเน้นไปที่รางวัลทันที การกำหนดรูปร่างรางวัลอย่างระมัดระวังเป็นสิ่งสำคัญ เนื่องจากเอเจนต์จะปรับปรุงสัญญาณใดก็ตามที่ได้รับ

สูตร
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
3

นโยบาย pi จับคู่สถานะกับการดำเนินการ (หรือความน่าจะเป็นของการดำเนินการ) สามารถแสดงเป็นตารางค้นหาสำหรับปัญหาที่ไม่ต่อเนื่องขนาดเล็ก หรือเป็นโครงข่ายประสาทเทียมเชิงลึก — เอเจนต์ RL เชิงลึก — สำหรับสถานะที่มีมิติสูง เช่น รูปภาพหรือข้อความ นโยบายคือสิ่งที่เอเจนต์เรียนรู้และท้ายที่สุดคือสิ่งที่ถูกนำไปใช้

สูตร
\pi(a \mid s) = P(A_t = a \mid S_t = s)
4

ฟังก์ชันค่า (Value functions) ประเมินว่าสถานะ (หรือคู่สถานะ-การดำเนินการ) ดีเพียงใดภายใต้นโยบายที่กำหนด ค่าสถานะ V(s) คือรางวัลสะสมที่คาดหวังตั้งแต่สถานะ s เป็นต้นไป ฟังก์ชันค่าการดำเนินการ Q(s, a) ขยายสิ่งนี้ไปยังการดำเนินการเฉพาะ การประมาณค่าเหล่านี้จะนำทางการปรับปรุงนโยบายในวิธีการต่างๆ เช่น Q-learning, SARSA และอัลกอริทึม actor-critic

สูตร
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]
5

เอเจนต์จะปรับปรุงนโยบายโดยใช้ประสบการณ์ที่รวบรวมได้ วิธีการที่ใช้ค่าเป็นหลัก (เช่น DQN) จะอนุมานได้จากค่า Q โดยปริยาย วิธีการแบบ policy-gradient (เช่น REINFORCE, PPO) จะปรับพารามิเตอร์นโยบายโดยตรงเพื่อเพิ่มความน่าจะเป็นของเส้นทางรางวัลสูง อัลกอริทึมสมัยใหม่ส่วนใหญ่จะรวมทั้งสองวิธีเข้าด้วยกันในสถาปัตยกรรม actor-critic

ข้อผิดพลาดที่พบบ่อย

  • การระบุฟังก์ชันรางวัลที่ปรับให้เหมาะสมได้ง่าย แต่ไม่สอดคล้องกับวัตถุประสงค์ที่แท้จริง (reward hacking)
  • การข้ามสภาพแวดล้อมจำลองที่ปรับแต่งมาอย่างดีและไปสู่ฮาร์ดแวร์จริงโดยตรง ซึ่งนำไปสู่ความล้มเหลวที่มีค่าใช้จ่ายสูง
  • การเลือก RL เมื่อวิธีการแบบมีผู้สอนหรือการเรียนรู้แบบเลียนแบบจะมีประสิทธิภาพในการใช้ตัวอย่างมากกว่ามาก
  • การละเลยความสามารถในการทำซ้ำ: ผลลัพธ์ RL แตกต่างกันอย่างมากในแต่ละเมล็ดพันธุ์สุ่ม ควรรายงานหลายๆ ครั้งเสมอ
  • การพิจารณาเส้นโค้งการฝึกอบรมจากการรันครั้งเดียวว่าเป็นหลักฐานของการบรรลุผลโดยไม่มีตอนการประเมินที่ถูกแยกออก

คำถามที่พบบ่อย

อะไรคือสิ่งที่ทำให้การเรียนรู้แบบเสริมกำลังแตกต่างจากการเรียนรู้แบบมีผู้สอน?

การเรียนรู้แบบมีผู้สอนต้องการคู่ข้อมูลนำเข้า-ผลลัพธ์ที่มีป้ายกำกับและเรียนรู้การจับคู่ที่ตายตัว RL ไม่ต้องการป้ายกำกับ แต่เอเจนต์จะได้รับสัญญาณรางวัลหลังจากการดำเนินการและต้องค้นหาสิ่งที่จะทำผ่านการลองผิดลองถูก ทำให้เหมาะสำหรับปัญหาการตัดสินใจตามลำดับที่การดำเนินการที่ถูกต้องไม่เป็นที่ทราบล่วงหน้า

อะไรคือความแตกต่างระหว่าง model-free และ model-based RL?

Model-free RL (เช่น DQN, PPO) เรียนรู้นโยบายหรือฟังก์ชันค่าโดยตรงจากประสบการณ์โดยไม่มีแบบจำลองพลวัตของสภาพแวดล้อมที่ชัดเจน Model-based RL เรียนรู้หรือได้รับแบบจำลองการเปลี่ยนสถานะและใช้สำหรับการวางแผน วิธีการแบบ model-based มีแนวโน้มที่จะใช้ตัวอย่างได้มีประสิทธิภาพมากกว่า แต่ต้องการแบบจำลองที่แม่นยำ ซึ่งอาจเรียนรู้ได้ยาก

ฉันจะเลือกระหว่างวิธีการแบบ value-based และ policy-gradient ได้อย่างไร?

วิธีการแบบ value-based เช่น DQN ทำงานได้ดีกับพื้นที่การดำเนินการที่ไม่ต่อเนื่องและค่อนข้างเสถียร วิธีการแบบ policy-gradient (REINFORCE, PPO, SAC) จัดการกับพื้นที่การดำเนินการต่อเนื่องได้อย่างเป็นธรรมชาติและสามารถเรียนรู้นโยบายแบบสุ่ม วิธีการแบบ actor-critic รวมทั้งสองวิธี สำหรับแอปพลิเคชันสมัยใหม่ส่วนใหญ่ PPO หรือ SAC เป็นจุดเริ่มต้นที่ปลอดภัย

RL โดยทั่วไปต้องการการโต้ตอบกับสภาพแวดล้อมกี่ครั้ง?

RL เป็นที่รู้จักกันดีว่าต้องการตัวอย่างจำนวนมาก งานแบบตาราง (tabular) อย่างง่ายอาจบรรลุผลในเวลาไม่กี่พันขั้น Atari DQN ต้องการเฟรมหลายสิบล้านเฟรม งานหุ่นยนต์ที่ซับซ้อนอาจต้องการขั้นตอนการจำลองหลายร้อยล้านขั้นตอน สิ่งนี้ทำให้โปรแกรมจำลองที่รวดเร็วเป็นสิ่งจำเป็นและตัด RL ออกจากปัญหาในโลกแห่งความเป็นจริงจำนวนมากที่มีการโต้ตอบที่มีค่าใช้จ่ายสูง

RLHF คืออะไรและทำไมจึงสำคัญ?

การเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF) ฝึกอบรมแบบจำลองรางวัลจากการเปรียบเทียบความชอบของมนุษย์ จากนั้นจึงปรับแต่งแบบจำลองภาษาด้วย RL เพื่อเพิ่มรางวัลที่เรียนรู้มาให้สูงสุด นี่เป็นเทคนิคหลักในการจัดแนวแบบจำลองภาษาขนาดใหญ่ให้สอดคล้องกับค่านิยมของมนุษย์ และเป็นหัวใจสำคัญของแบบจำลองเช่น InstructGPT และ Claude

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.

    ISBN: 978-0-262-03924-6
    คัดลอกแล้ว
  2. Mnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว