การเรียนรู้แบบเสริมกำลัง
- ผู้เสนอ
- Sutton, R. S. & Barto, A. G. (formalised); Bellman, R. (foundations)
- ปี
- 1950s–1998
- ประเภท
- Sequential decision-making framework
- กลุ่มวิธี
- Deep learning / NLP / CV
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้แบบเสริมกำลัง (RL) เป็นกรอบการทำงานที่เอเจนต์เรียนรู้ที่จะตัดสินใจตามลำดับโดยการโต้ตอบกับสภาพแวดล้อม ได้รับสัญญาณรางวัลแบบสเกลาร์ และปรับปรุงนโยบายเพื่อเพิ่มรางวัลสะสมในอนาคต ซึ่งแตกต่างจากการเรียนรู้แบบมีผู้สอน จะไม่มีการให้ตัวอย่างที่มีป้ายกำกับ เอเจนต์จะค้นพบพฤติกรรมที่เหมาะสมที่สุดผ่านประสบการณ์และการตอบรับที่ล่าช้าเท่านั้น
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการฝึกสุนัข: คุณไม่ได้อธิบายทุกการกระทำ คุณให้รางวัลพฤติกรรมที่ดีและปล่อยให้มันคิดว่าจะทำอย่างไร การเรียนรู้แบบเสริมกำลังก็ทำงานเช่นเดียวกัน เอเจนต์จะลองดำเนินการในสภาพแวดล้อม สังเกตสิ่งที่เกิดขึ้น และได้รับรางวัล — เป็นบวกสำหรับผลลัพธ์ที่ต้องการ และเป็นลบสำหรับข้อผิดพลาด ตลอดการโต้ตอบหลายครั้ง มันจะเรียนรู้ว่าการดำเนินการใดในสถานการณ์ใดมีแนวโน้มที่จะนำไปสู่รางวัลสูงสุด โดยสร้างกลยุทธ์ — เรียกว่านโยบาย — โดยไม่จำเป็นต้องมีชุดข้อมูลที่ติดป้ายกำกับล่วงหน้าของคำตอบที่ถูกต้อง
ประวัติศาสตร์
การเรียนรู้แบบเสริมกำลังมีรากฐานมาจาก dynamic programming ของ Bellman (1957) และจิตวิทยาการเรียนรู้ของสัตว์ Sutton และ Barto ได้กำหนดกรอบการทำงานสมัยใหม่ในตำราปี 1998 ของพวกเขา โดยรวม temporal-difference learning, Q-learning และ policy-gradient methods เข้าด้วยกัน สาขานี้ได้เปลี่ยนแปลงไปในช่วงปี 2013–2015 เมื่อ DQN ของ DeepMind รวม CNN เชิงลึกเข้ากับ Q-learning เพื่อให้ได้ประสิทธิภาพระดับมนุษย์ใน Atari ซึ่งเป็นการเปิดตัว deep reinforcement learning ในฐานะทิศทางการวิจัยที่สำคัญ AlphaGo (2016) และงาน RLHF ต่อมาเกี่ยวกับแบบจำลองภาษาขนาดใหญ่ได้ขยายขอบเขตของ RL ให้กว้างขึ้น
ควรใช้เมื่อใด
ใช้การเรียนรู้แบบเสริมกำลังเมื่อภารกิจเป็นการตัดสินใจตามลำดับพร้อมรางวัลที่ล่าช้าและไม่มีข้อมูลการฝึกอบรมที่มีป้ายกำกับ: การเล่นเกม, การควบคุมหุ่นยนต์, การจัดตารางทรัพยากร, การจัดลำดับคำแนะนำ, หรือการปรับแต่งแบบจำลองภาษาด้วยข้อเสนอแนะจากมนุษย์ (RLHF) RL เหมาะสมเมื่อสภาพแวดล้อมสามารถจำลองได้ในราคาถูกและเอเจนต์สามารถโต้ตอบได้หลายครั้ง อย่าใช้ RL เมื่อวิธีการแบบมีผู้สอนหรือแบบเรียนรู้ด้วยตนเองสามารถแก้ปัญหาได้ — RL ใช้ตัวอย่างได้ไม่มีประสิทธิภาพและไม่เสถียร เมื่อฟังก์ชันรางวัลระบุได้ยาก เมื่อการโต้ตอบกับสภาพแวดล้อมจริงมีค่าใช้จ่ายสูงหรืออันตรายหากไม่มีโปรแกรมจำลอง หรือเมื่อชุดข้อมูลคงที่และตายตัว (ใช้ offline RL ด้วยความระมัดระวัง)
ข้อจำกัดและข้อควรพิจารณา
- ใช้ตัวอย่างได้ไม่มีประสิทธิภาพอย่างยิ่ง: อาจต้องมีการโต้ตอบกับสภาพแวดล้อมหลายล้านครั้งเพื่อให้บรรลุผล
- การฝึกอบรมมักไม่เสถียรและไวต่อไฮเปอร์พารามิเตอร์, การกำหนดรูปร่างรางวัล, และเมล็ดพันธุ์สุ่ม
- การออกแบบฟังก์ชันรางวัลเป็นเรื่องยาก รางวัลที่ระบุไม่ถูกต้องทำให้เกิดการปรับให้เหมาะสมโดยไม่ได้ตั้งใจ (reward hacking)
- ไม่รับประกันการสรุปผลไปยังสถานะหรือสภาพแวดล้อมที่ไม่เคยพบเห็น
- การนำไปใช้ในโลกแห่งความเป็นจริงมีความเสี่ยงหากไม่มีการจำลองอย่างกว้างขวาง การสำรวจอาจนำไปสู่การกระทำที่เป็นอันตราย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้โดยตรงจากการโต้ตอบโดยไม่มีข้อมูลที่มีป้ายกำกับ ทำให้สามารถนำไปใช้ได้ในกรณีที่ไม่สามารถติดป้ายกำกับได้
- สามารถค้นพบกลยุทธ์เหนือมนุษย์ในงานตามลำดับที่ซับซ้อน (เกม, หุ่นยนต์, การจัดตารางเวลา)
- สร้างแบบจำลองการวางแผนระยะยาวและการกำหนดเครดิตตามเวลาได้อย่างเป็นธรรมชาติ
- ปรับขนาดให้เข้ากับพื้นที่สถานะที่มีมิติสูง (พิกเซล, ข้อความ) เมื่อรวมกับโครงข่ายประสาทเทียมเชิงลึก
- RLHF ช่วยให้แบบจำลองภาษาขนาดใหญ่สอดคล้องกับความชอบของมนุษย์
การประยุกต์ใช้
- การเล่นเกมและกลยุทธ์: Atari, Go, หมากรุก, StarCraft ในระดับเหนือมนุษย์
- หุ่นยนต์: การเคลื่อนที่, การจัดการ, และการควบคุมมือที่คล่องแคล่ว
- การจัดแนวแบบจำลองภาษาขนาดใหญ่ผ่านการเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF)
- การจัดตารางทรัพยากรและเครือข่าย, การเพิ่มประสิทธิภาพการระบายความร้อนของศูนย์ข้อมูล
- ระบบแนะนำส่วนบุคคลที่สร้างแบบจำลองการมีส่วนร่วมของผู้ใช้ในระยะยาว
- การจำลองการขับขี่อัตโนมัติและการควบคุมสัญญาณไฟจราจร
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละขั้นเวลา เอเจนต์จะสังเกตสถานะปัจจุบันของสภาพแวดล้อมและเลือกการดำเนินการตามนโยบายปัจจุบัน สภาพแวดล้อมจะเปลี่ยนไปสู่สถานะใหม่และส่งสัญญาณรางวัลแบบสเกลาร์ วงจรของการสังเกต-ดำเนินการ-รางวัลนี้จะซ้ำไปเรื่อยๆ สร้างเส้นทางประสบการณ์ที่ใช้ในการปรับปรุงนโยบาย
วัตถุประสงค์ของเอเจนต์คือการเพิ่มรางวัลสะสมที่คิดลดทอน G_t ซึ่งรวมรางวัลในอนาคตทั้งหมดโดยถ่วงน้ำหนักด้วยปัจจัยลดทอนแกมมา (gamma) ระหว่าง 0 ถึง 1 แกมมาที่ใกล้เคียง 1 ทำให้เอเจนต์มองการณ์ไกล แกมมาที่น้อยทำให้เอเจนต์มุ่งเน้นไปที่รางวัลทันที การกำหนดรูปร่างรางวัลอย่างระมัดระวังเป็นสิ่งสำคัญ เนื่องจากเอเจนต์จะปรับปรุงสัญญาณใดก็ตามที่ได้รับ
สูตร
G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}นโยบาย pi จับคู่สถานะกับการดำเนินการ (หรือความน่าจะเป็นของการดำเนินการ) สามารถแสดงเป็นตารางค้นหาสำหรับปัญหาที่ไม่ต่อเนื่องขนาดเล็ก หรือเป็นโครงข่ายประสาทเทียมเชิงลึก — เอเจนต์ RL เชิงลึก — สำหรับสถานะที่มีมิติสูง เช่น รูปภาพหรือข้อความ นโยบายคือสิ่งที่เอเจนต์เรียนรู้และท้ายที่สุดคือสิ่งที่ถูกนำไปใช้
สูตร
\pi(a \mid s) = P(A_t = a \mid S_t = s)
ฟังก์ชันค่า (Value functions) ประเมินว่าสถานะ (หรือคู่สถานะ-การดำเนินการ) ดีเพียงใดภายใต้นโยบายที่กำหนด ค่าสถานะ V(s) คือรางวัลสะสมที่คาดหวังตั้งแต่สถานะ s เป็นต้นไป ฟังก์ชันค่าการดำเนินการ Q(s, a) ขยายสิ่งนี้ไปยังการดำเนินการเฉพาะ การประมาณค่าเหล่านี้จะนำทางการปรับปรุงนโยบายในวิธีการต่างๆ เช่น Q-learning, SARSA และอัลกอริทึม actor-critic
สูตร
V^\pi(s) = \mathbb{E}_\pi\left[G_t \mid S_t = s\right]เอเจนต์จะปรับปรุงนโยบายโดยใช้ประสบการณ์ที่รวบรวมได้ วิธีการที่ใช้ค่าเป็นหลัก (เช่น DQN) จะอนุมานได้จากค่า Q โดยปริยาย วิธีการแบบ policy-gradient (เช่น REINFORCE, PPO) จะปรับพารามิเตอร์นโยบายโดยตรงเพื่อเพิ่มความน่าจะเป็นของเส้นทางรางวัลสูง อัลกอริทึมสมัยใหม่ส่วนใหญ่จะรวมทั้งสองวิธีเข้าด้วยกันในสถาปัตยกรรม actor-critic
ข้อผิดพลาดที่พบบ่อย
- การระบุฟังก์ชันรางวัลที่ปรับให้เหมาะสมได้ง่าย แต่ไม่สอดคล้องกับวัตถุประสงค์ที่แท้จริง (reward hacking)
- การข้ามสภาพแวดล้อมจำลองที่ปรับแต่งมาอย่างดีและไปสู่ฮาร์ดแวร์จริงโดยตรง ซึ่งนำไปสู่ความล้มเหลวที่มีค่าใช้จ่ายสูง
- การเลือก RL เมื่อวิธีการแบบมีผู้สอนหรือการเรียนรู้แบบเลียนแบบจะมีประสิทธิภาพในการใช้ตัวอย่างมากกว่ามาก
- การละเลยความสามารถในการทำซ้ำ: ผลลัพธ์ RL แตกต่างกันอย่างมากในแต่ละเมล็ดพันธุ์สุ่ม ควรรายงานหลายๆ ครั้งเสมอ
- การพิจารณาเส้นโค้งการฝึกอบรมจากการรันครั้งเดียวว่าเป็นหลักฐานของการบรรลุผลโดยไม่มีตอนการประเมินที่ถูกแยกออก
คำถามที่พบบ่อย
อะไรคือสิ่งที่ทำให้การเรียนรู้แบบเสริมกำลังแตกต่างจากการเรียนรู้แบบมีผู้สอน?
การเรียนรู้แบบมีผู้สอนต้องการคู่ข้อมูลนำเข้า-ผลลัพธ์ที่มีป้ายกำกับและเรียนรู้การจับคู่ที่ตายตัว RL ไม่ต้องการป้ายกำกับ แต่เอเจนต์จะได้รับสัญญาณรางวัลหลังจากการดำเนินการและต้องค้นหาสิ่งที่จะทำผ่านการลองผิดลองถูก ทำให้เหมาะสำหรับปัญหาการตัดสินใจตามลำดับที่การดำเนินการที่ถูกต้องไม่เป็นที่ทราบล่วงหน้า
อะไรคือความแตกต่างระหว่าง model-free และ model-based RL?
Model-free RL (เช่น DQN, PPO) เรียนรู้นโยบายหรือฟังก์ชันค่าโดยตรงจากประสบการณ์โดยไม่มีแบบจำลองพลวัตของสภาพแวดล้อมที่ชัดเจน Model-based RL เรียนรู้หรือได้รับแบบจำลองการเปลี่ยนสถานะและใช้สำหรับการวางแผน วิธีการแบบ model-based มีแนวโน้มที่จะใช้ตัวอย่างได้มีประสิทธิภาพมากกว่า แต่ต้องการแบบจำลองที่แม่นยำ ซึ่งอาจเรียนรู้ได้ยาก
ฉันจะเลือกระหว่างวิธีการแบบ value-based และ policy-gradient ได้อย่างไร?
วิธีการแบบ value-based เช่น DQN ทำงานได้ดีกับพื้นที่การดำเนินการที่ไม่ต่อเนื่องและค่อนข้างเสถียร วิธีการแบบ policy-gradient (REINFORCE, PPO, SAC) จัดการกับพื้นที่การดำเนินการต่อเนื่องได้อย่างเป็นธรรมชาติและสามารถเรียนรู้นโยบายแบบสุ่ม วิธีการแบบ actor-critic รวมทั้งสองวิธี สำหรับแอปพลิเคชันสมัยใหม่ส่วนใหญ่ PPO หรือ SAC เป็นจุดเริ่มต้นที่ปลอดภัย
RL โดยทั่วไปต้องการการโต้ตอบกับสภาพแวดล้อมกี่ครั้ง?
RL เป็นที่รู้จักกันดีว่าต้องการตัวอย่างจำนวนมาก งานแบบตาราง (tabular) อย่างง่ายอาจบรรลุผลในเวลาไม่กี่พันขั้น Atari DQN ต้องการเฟรมหลายสิบล้านเฟรม งานหุ่นยนต์ที่ซับซ้อนอาจต้องการขั้นตอนการจำลองหลายร้อยล้านขั้นตอน สิ่งนี้ทำให้โปรแกรมจำลองที่รวดเร็วเป็นสิ่งจำเป็นและตัด RL ออกจากปัญหาในโลกแห่งความเป็นจริงจำนวนมากที่มีการโต้ตอบที่มีค่าใช้จ่ายสูง
RLHF คืออะไรและทำไมจึงสำคัญ?
การเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะของมนุษย์ (RLHF) ฝึกอบรมแบบจำลองรางวัลจากการเปรียบเทียบความชอบของมนุษย์ จากนั้นจึงปรับแต่งแบบจำลองภาษาด้วย RL เพื่อเพิ่มรางวัลที่เรียนรู้มาให้สูงสุด นี่เป็นเทคนิคหลักในการจัดแนวแบบจำลองภาษาขนาดใหญ่ให้สอดคล้องกับค่านิยมของมนุษย์ และเป็นหัวใจสำคัญของแบบจำลองเช่น InstructGPT และ Claude
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press.
ISBN: 978-0-262-03924-6คัดลอกแล้วMnih, V., Kavukcuoglu, K., Silver, D., et al. (2015). Human-level control through deep reinforcement learning. Nature, 518, 529–533.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว