การเรียนรู้แบบเสริมกำลังเชิงลึก
- ผู้เสนอ
- Mnih, V. et al. (DQN)
- ปี
- 2015
- ประเภท
- Sequential decision-making (agent–environment interaction)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้แบบเสริมกำลังเชิงลึก (Deep Reinforcement Learning) ผสมผสานโครงข่ายประสาทเทียมเข้ากับการเรียนรู้แบบเสริมกำลัง เพื่อให้เอเจนต์เรียนรู้ผ่านการปฏิสัมพันธ์กับสภาพแวดล้อม ซึ่งได้รับความนิยมจากผลงานของ Mnih และคณะ ในปี 2015 ในวารสาร Nature เกี่ยวกับการควบคุมเกม Atari ในระดับมนุษย์ แทนที่จะเรียนรู้จากชุดข้อมูลที่มีป้ายกำกับตายตัว เอเจนต์จะดำเนินการ สังเกตผลตอบแทน และค่อยๆ ปรับปรุงนโยบาย (policy) ที่จะเพิ่มผลตอบแทนระยะยาวให้สูงสุด
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการเรียนรู้ที่จะเล่นเกมโดยไม่มีคู่มือ: คุณลองเคลื่อนไหว สังเกตการเปลี่ยนแปลงคะแนนของคุณ และค่อยๆ ค้นพบว่าการกระทำใดให้ผลตอบแทนที่ดีในภายหลัง การเรียนรู้แบบเสริมกำลังเชิงลึกทำให้กระบวนการลองผิดลองถูกนี้เป็นไปโดยอัตโนมัติ โครงข่ายประสาทเทียมจะประเมินว่าสถานการณ์และการกระทำใดดี และเอเจนต์จะเลือกการกระทำที่ได้รับผลตอบแทนมากขึ้นเมื่อเวลาผ่านไป แม้ว่าผลตอบแทนจะมาถึงหลายขั้นตอนหลังจากตัดสินใจก็ตาม
ประวัติศาสตร์
การเรียนรู้แบบเสริมกำลังเชิงลึกได้รับความนิยมจากผลงานของ Mnih และคณะ ในปี 2015 ในวารสาร Nature ซึ่งโครงข่าย Q เชิงลึก (deep Q-network) สามารถควบคุมเกม Atari ได้ในระดับมนุษย์โดยตรงจากพิกเซล ต่อมามีการพัฒนาเทคนิค policy-gradient รวมถึง A3C และ Proximal Policy Optimization (PPO) ของ Schulman และคณะ ในปี 2017 ซึ่งกลายเป็นเครื่องมือมาตรฐานที่ใช้กันอย่างแพร่หลายและมีความเสถียรมากขึ้น DQN, PPO และ A3C ร่วมกันเป็นแกนหลักของชุดเครื่องมือการเรียนรู้แบบเสริมกำลังเชิงลึกสมัยใหม่ที่ใช้ในเกม หุ่นยนต์ และอื่นๆ
ควรใช้เมื่อใด
ใช้การเรียนรู้แบบเสริมกำลังเชิงลึกสำหรับปัญหาการตัดสินใจตามลำดับและการควบคุม เช่น การเล่นเกม การควบคุมหุ่นยนต์ การเพิ่มประสิทธิภาพการแนะนำ การสนับสนุนการตัดสินใจทางคลินิก ซึ่งเอเจนต์สามารถโต้ตอบกับโปรแกรมจำลองหรือสภาพแวดล้อมจริง และสามารถกำหนดสัญญาณผลตอบแทนได้ วิธีการนี้จัดการกับตัวแปรต่อเนื่องและไม่ต่อเนื่อง ไม่มีการสมมติฐานเกี่ยวกับความเป็นปกติ (normality assumption) แต่คาดหวังฟังก์ชันผลตอบแทนที่ออกแบบมาและข้อมูลการโต้ตอบจำนวนมาก (อย่างน้อยประมาณ 1,000 ตอน) หากมีปฏิสัมพันธ์น้อยกว่านี้ นโยบายจะไม่สามารถลู่เข้าได้ และแบบจำลองแบบมีผู้สอน (supervised model) เช่น Random Forest หรือ XGBoost จะเป็นทางเลือกที่ปลอดภัยกว่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการโปรแกรมจำลองหรือสภาพแวดล้อมการโต้ตอบ และฟังก์ชันผลตอบแทนที่ออกแบบมาอย่างรอบคอบ
- ต้องการข้อมูลจำนวนมาก: ต้องการการโต้ตอบจำนวนมาก (ประมาณ 1,000 ครั้งขึ้นไป) และแนะนำให้ใช้ GPU
- ต่ำกว่าประมาณ 1,000 ครั้ง นโยบายจะไม่สามารถลู่เข้าได้ ต่ำกว่าประมาณ 500 ครั้ง ไม่สามารถสร้างนโยบายการตัดสินใจที่เชื่อถือได้
- การฝึกอบรมอาจไม่เสถียรและอ่อนไหวต่อไฮเปอร์พารามิเตอร์ (hyperparameters) และการปรับแต่งฟังก์ชันผลตอบแทน (reward shaping)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- เรียนรู้นโยบายการควบคุมและการตัดสินใจตามลำดับโดยตรงจากการโต้ตอบ โดยไม่มีตัวอย่างที่มีป้ายกำกับ
- การประมาณค่าด้วยฟังก์ชันโครงข่ายประสาทเทียมสามารถปรับขนาดให้รองรับพื้นที่สถานะและการกระทำที่มีขนาดใหญ่มากได้
- มีความยืดหยุ่นในหลากหลายโดเมน เช่น เกม หุ่นยนต์ การแนะนำ การสนับสนุนการตัดสินใจทางคลินิก
- ไม่มีข้อสมมติฐานเกี่ยวกับความเป็นปกติ ทำงานได้กับข้อมูลนำเข้าทั้งแบบต่อเนื่องและไม่ต่อเนื่อง และโครงสร้างข้อมูลจำนวนมาก
การประยุกต์ใช้
- การเล่นเกมและการควบคุมเอเจนต์ (เช่น เกม Atari และเกมกระดาน)
- การควบคุมหุ่นยนต์และงานควบคุมแบบต่อเนื่อง
- ปัญหาการแนะนำและการเพิ่มประสิทธิภาพตามลำดับ
- การสนับสนุนการตัดสินใจทางคลินิกที่กำหนดเป็นปัญหาการตัดสินใจตามลำดับ
วิธีการทำงาน
วิธีการทำงาน
เอเจนต์จะสังเกตสถานะปัจจุบันของสภาพแวดล้อม (เกม, โปรแกรมจำลอง, หุ่นยนต์, การตั้งค่าการแนะนำ) เลือกการกระทำ และได้รับผลตอบแทนพร้อมกับสถานะถัดไป จำเป็นต้องมีโปรแกรมจำลองหรือสภาพแวดล้อมการโต้ตอบจริง และต้องออกแบบฟังก์ชันผลตอบแทนอย่างรอบคอบ เนื่องจากฟังก์ชันนี้เป็นตัวกำหนดว่า 'พฤติกรรมที่ดี' หมายถึงอะไร การโต้ตอบแต่ละครั้งจะเพิ่มประสบการณ์ที่เอเจนต์เรียนรู้
โครงข่ายประสาทเทียมจะประมาณค่าของสถานะและการกระทำ ตัวอย่างเช่น โครงข่าย Q เชิงลึก (deep Q-network) จะประมาณผลตอบแทนในอนาคตที่คาดหวังของการกระทำแต่ละอย่าง ในขณะที่วิธีการแบบ policy-gradient เช่น PPO และ A3C จะกำหนดพารามิเตอร์ของนโยบายโดยตรง นี่คือสิ่งที่ทำให้วิธีการนี้ 'เชิงลึก': โครงข่ายสามารถสรุปความรู้ไปยังพื้นที่สถานะ (state spaces) ที่กว้างใหญ่ ซึ่งตารางค้นหา (lookup table) ไม่สามารถครอบคลุมได้
สูตร
Q^*(s,a) = \mathbb{E}\big[r + \gamma \max_{a'} Q^*(s',a')\big]โดยใช้ผลตอบแทนที่รวบรวมได้จากการโต้ตอบ โครงข่ายจะได้รับการปรับปรุงเพื่อสนับสนุนการกระทำที่นำไปสู่ผลตอบแทนสะสมที่คิดลด (discounted return) สูงขึ้น ค่อยๆ ปรับปรุงนโยบายให้เข้าใกล้นโยบายที่เพิ่มผลตอบแทนระยะยาวให้สูงสุด เนื่องจากกระบวนการเรียนรู้ขับเคลื่อนด้วยประสบการณ์ จึงจำเป็นต้องมีข้อมูลการโต้ตอบจำนวนมาก (คำแนะนำคืออย่างน้อยประมาณ 1,000 ตอน/การโต้ตอบ) และควรมี GPU เพื่อให้นโยบายสามารถลู่เข้า (converge) ได้
สูตร
\pi^* = \arg\max_{\pi} \mathbb{E}_\pi\Big[\sum_t \gamma^t r_t\Big]ข้อผิดพลาดที่พบบ่อย
- การนำการเรียนรู้แบบเสริมกำลังเชิงลึกไปใช้กับชุดข้อมูลขนาดเล็กซึ่งนโยบายไม่สามารถลู่เข้าได้ แทนที่จะใช้แบบจำลองแบบมีผู้สอน
- การออกแบบฟังก์ชันผลตอบแทนที่ระบุไม่ดี ซึ่งเอเจนต์ใช้ประโยชน์ในทางที่ไม่ได้ตั้งใจ
- การข้ามโปรแกรมจำลอง/สภาพแวดล้อมการโต้ตอบ และพยายามเรียนรู้จากตารางบันทึกข้อมูลแบบคงที่
- การละเลยการวินิจฉัยการลู่เข้า และเชื่อถือนโยบายที่ฝึกไม่เพียงพอและมีความแปรปรวนสูง
- การประเมินความต้องการด้านการประมวลผลต่ำเกินไป และทำงานโดยไม่มี GPU ด้วยจำนวนตอนที่น้อยเกินไป
คำถามที่พบบ่อย
การเรียนรู้แบบเสริมกำลังเชิงลึกต้องการข้อมูลมากเพียงใด?
ต้องการข้อมูลจำนวนมาก คำแนะนำคืออย่างน้อยประมาณ 1,000 ครั้ง/ตอน เพื่อให้นโยบายลู่เข้าได้ ต่ำกว่าประมาณ 500 ครั้ง DQN/PPO ไม่สามารถสร้างนโยบายการตัดสินใจที่เชื่อถือได้ และแบบจำลองแบบมีผู้สอนจะเหมาะสมกว่า
ความแตกต่างระหว่าง DQN, PPO และ A3C คืออะไร?
DQN เรียนรู้ฟังก์ชันค่า (value function) (ผลตอบแทนที่คาดหวังของการกระทำแต่ละอย่าง) และดำเนินการตามหลักการละโมบ (greedy) กับฟังก์ชันนั้น PPO และ A3C เป็นวิธีการแบบ policy-gradient ที่ปรับปรุงนโยบายโดยตรง โดยเฉพาะ PPO ได้รับการยอมรับในด้านความเสถียรของการฝึกอบรม
ฉันต้องใช้โปรแกรมจำลองหรือไม่?
ใช่ การเรียนรู้แบบเสริมกำลังเชิงลึกเรียนรู้จากการโต้ตอบ ดังนั้นจึงจำเป็นต้องมีโปรแกรมจำลองหรือสภาพแวดล้อมการโต้ตอบจริง พร้อมด้วยฟังก์ชันผลตอบแทนที่ออกแบบมาอย่างรอบคอบซึ่งเข้ารหัสเป้าหมาย
ฉันต้องใช้ GPU หรือไม่?
แนะนำให้ใช้ GPU การเรียนรู้แบบเสริมกำลังเชิงลึกฝึกโครงข่ายประสาทเทียมผ่านการโต้ตอบจำนวนมาก ดังนั้นหากไม่มีการประมวลผลที่เหมาะสม การฝึกอบรมจะช้าและการลู่เข้าจะทำได้ยาก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Mnih, V. et al. (2015). Human-Level Control through Deep Reinforcement Learning. Nature, 518, 529–533.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วSchulman, J. et al. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว