Bayesian Optimization — การปรับจูนไฮเปอร์พารามิเตอร์แบบลำดับขั้นโดยใช้แบบจำลอง
- ผู้เสนอ
- Mockus (1975); popularised for ML by Snoek, Larochelle & Adams (2012)
- ปี
- 1975 (foundational); 2012 (ML standard)
- ประเภท
- Sequential model-based black-box optimization
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Bayesian Optimization เป็นกลยุทธ์แบบลำดับขั้นที่ใช้แบบจำลองเพื่อค้นหาค่าที่เหมาะสมที่สุดของฟังก์ชันแบบกล่องดำ (black-box function) ที่มีค่าใช้จ่ายสูง โดยใช้การประเมินผลให้น้อยที่สุด รากฐานมาจากงานของ Mockus (1975) และถูกนำมาสู่การปฏิบัติในวงกว้างของแมชชีนเลิร์นนิงโดย Snoek, Larochelle และ Adams (2012) วิธีการนี้จะปรับแบบจำลองตัวแทนเชิงความน่าจะเป็น (probabilistic surrogate model) — โดยทั่วไปคือ Gaussian Process — ให้เข้ากับข้อมูลที่สังเกตได้ก่อนหน้านี้ และใช้ฟังก์ชันการได้มา (acquisition function) เพื่อตัดสินใจว่าจะสำรวจจุดใดต่อไป โดยการสร้างสมดุลระหว่างการสำรวจพื้นที่ที่ไม่รู้จักกับการใช้ประโยชน์จากพื้นที่ที่มีแนวโน้มดี
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพว่าคุณต้องหาการตั้งค่าที่ดีที่สุดสำหรับโมเดลแมชชีนเลิร์นนิง แต่การทดลองแต่ละครั้งใช้เวลาหลายชั่วโมง คุณไม่สามารถทดสอบทุกการผสมผสานที่เป็นไปได้ Bayesian Optimization ทำงานเหมือนนักวิทยาศาสตร์ที่รอบคอบ: มันสร้างแผนที่ที่กำลังดำเนินอยู่ของสิ่งที่ได้ลองทำไปแล้วและผลลัพธ์ที่ได้กลับมา ใช้แผนที่นั้นเพื่อคาดเดาว่าค่าที่เหมาะสมที่สุดน่าจะอยู่ที่ไหน จากนั้นจึงเลือกการทดลองถัดไปที่มีแนวโน้มมากที่สุดที่จะปรับปรุงผลลัพธ์ที่ดีที่สุดที่เคยเห็นมา เมื่อการทดลองเสร็จสมบูรณ์มากขึ้น แผนที่จะมีความแม่นยำมากขึ้นและการเลือกจะฉลาดขึ้น — ทั้งหมดนี้โดยไม่จำเป็นต้องทราบสูตรคณิตศาสตร์ภายในกล่องดำ
ประวัติศาสตร์
รากฐานทางทฤษฎีของ Bayesian Optimization วางไว้โดย Jonas Mockus และคณะในทศวรรษ 1970 ผ่านแนวคิดของ expected improvement สำหรับการออกแบบการทดลองแบบลำดับขั้น แนวทางนี้ยังคงเป็นส่วนใหญ่ในเชิงวิชาการจนถึงปี 2012 เมื่อ Snoek, Larochelle และ Adams ตีพิมพ์ "Practical Bayesian Optimization of Machine Learning Algorithms" ในงาน NeurIPS ซึ่งแสดงให้เห็นว่า Bayesian Optimization ที่ใช้ GP มีประสิทธิภาพเหนือกว่าการปรับจูนด้วยมือของผู้เชี่ยวชาญและการค้นหาสุ่มบนเกณฑ์มาตรฐาน ML มาตรฐานอย่างสม่ำเสมอ งานนี้ได้กระตุ้นการพัฒนาไลบรารีเฉพาะทาง และสร้าง Bayesian Optimization ให้เป็นมาตรฐานโดยพฤตินัยสำหรับการค้นหาไฮเปอร์พารามิเตอร์ใน deep learning และ AutoML pipelines บทช่วยสอนปี 2018 ของ Peter Frazier (arXiv:1807.02811) ต่อมาได้ให้การรักษาทางวิชาการที่เป็นหนึ่งเดียว ซึ่งขยายขอบเขตของวิธีการออกไปนอกชุมชน ML
ควรใช้เมื่อใด
Bayesian Optimization เป็นตัวเลือกที่เหมาะสมเมื่อฟังก์ชันวัตถุประสงค์มีค่าใช้จ่ายสูงหรือใช้เวลานานในการประเมิน — การฝึกโมเดลขนาดใหญ่ การจำลองทางกายภาพ หรือการทดลองในห้องปฏิบัติการ — และงบประมาณจำกัดอยู่ที่หลักสิบหรือหลักร้อยต้นๆ การประเมินผล ปริภูมิการค้นหาต้องถูกกำหนดด้วยขอบเขตที่ชัดเจนสำหรับแต่ละพารามิเตอร์ วิธีการนี้จัดการกับพารามิเตอร์แบบต่อเนื่องและแบบอันดับได้อย่างเป็นธรรมชาติ พารามิเตอร์แบบหมวดหมู่ล้วนๆ หรือปริภูมิที่มีมิติสูงมาก (มากกว่าประมาณ 20 พารามิเตอร์) อาจทำให้คุณภาพของแบบจำลองตัวแทนลดลง และอาจต้องใช้วิธีการเพิ่มเติม เช่น random forests เป็นแบบจำลองตัวแทน หรือการประมวลผลล่วงหน้าเพื่อลดมิติ หากการประเมินมีค่าใช้จ่ายต่ำและมีระบบขนาน การค้นหาสุ่ม (random search) หรือการค้นหาแบบกริด (grid search) ที่ง่ายกว่าอาจแข่งขันได้
ข้อจำกัดและข้อควรพิจารณา
- ปรับขนาดได้ไม่ดีสำหรับปริภูมิไฮเปอร์พารามิเตอร์ที่มีมิติสูงมาก: การปรับ Gaussian Process ให้เข้ากับข้อมูลมีค่าใช้จ่ายในการคำนวณสูง และแบบจำลองตัวแทนสูญเสียความแม่นยำเกินกว่าประมาณ 10–20 มิติ
- ไวต่อการเลือก kernel ของแบบจำลองตัวแทนและฟังก์ชันการได้มา: ค่าเริ่มต้นที่ไม่ดีอาจขัดขวางการลู่เข้า โดยเฉพาะอย่างยิ่งกับวัตถุประสงค์ที่ไม่คงที่ (non-stationary) หรือหลายรูปแบบ (multi-modal)
- เป็นลำดับขั้นโดยค่าเริ่มต้น: การประเมินแต่ละครั้งต้องเสร็จสมบูรณ์ก่อนที่จะเลือกผู้สมัครรายต่อไป ซึ่งจำกัดระบบขนาน เว้นแต่จะใช้ส่วนขยายแบบ batch-mode หรือแบบอะซิงโครนัส
- ต้องการปริภูมิการค้นหาที่มีขอบเขต: พารามิเตอร์ที่ไม่มีช่วงที่ชัดเจนไม่สามารถจัดการได้โดยตรง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ประหยัดตัวอย่าง (Sample-efficient): ค้นหาการกำหนดค่าที่ดีได้โดยใช้การประเมินผลน้อยกว่า grid search หรือ random search มาก ซึ่งมีความสำคัญเมื่อการประเมินแต่ละครั้งช้าหรือมีค่าใช้จ่ายสูง
- การสร้างสมดุลระหว่างการสำรวจและการใช้ประโยชน์อย่างมีหลักการ: ฟังก์ชันการได้มาให้เกณฑ์ที่เป็นทางการและตีความได้สำหรับการค้นหาต่อไป
- ความไม่แน่นอนตามแบบจำลอง (Model-based uncertainty): Gaussian Process ไม่เพียงแต่คาดการณ์ประสิทธิภาพเท่านั้น แต่ยังวัดระดับความมั่นใจของตัวเองด้วย ทำให้สามารถตัดสินใจหยุดได้อย่างมีข้อมูล
- ใช้ได้กับวัตถุประสงค์แบบกล่องดำใดๆ: วิธีการนี้ไม่ต้องการข้อมูลความชัน (gradient information) และไม่จำเป็นต้องมีความรู้ทางคณิตศาสตร์เกี่ยวกับภายในของวัตถุประสงค์
การประยุกต์ใช้
- การปรับจูนไฮเปอร์พารามิเตอร์ของโมเดลแมชชีนเลิร์นนิงและดีปเลิร์นนิง ซึ่งการฝึกแต่ละครั้งใช้ทรัพยากรในการคำนวณสูง
- Neural Architecture Search (NAS): การเลือกทางสถาปัตยกรรม เช่น ความกว้างของเลเยอร์ ฟังก์ชันการเปิดใช้งาน และการเชื่อมต่อแบบข้าม (skip connections)
- การออกแบบการทดลองในวิศวกรรมศาสตร์และวิทยาศาสตร์ธรรมชาติ ซึ่งการทดลองทางกายภาพแต่ละครั้งมีค่าใช้จ่ายสูงหรือใช้เวลานาน
- ไปป์ไลน์ Automatic Machine Learning (AutoML) ที่เลือกทั้งอัลกอริทึมและไฮเปอร์พารามิเตอร์ของมันร่วมกัน
- การค้นพบยาและวิทยาศาสตร์วัสดุ ซึ่งการประเมินการกำหนดค่าของผู้สมัครต้องอาศัยการทำงานในห้องปฏิบัติการ
วิธีการทำงาน
วิธีการทำงาน
ผู้ปฏิบัติงานกำหนดปริภูมิการค้นหา (search space): ไฮเปอร์พารามิเตอร์แต่ละตัวที่จะปรับจูนจะได้รับประเภท (ต่อเนื่อง, อันดับ) และช่วง — ขอบเขตบนและล่าง — ที่ตัวปรับจูนสามารถค้นหาได้ การกำหนดปริภูมิที่ชัดเจนเป็นสิ่งจำเป็นก่อนสิ่งอื่นใด และป้องกันไม่ให้แบบจำลองตัวแทนถูกขอให้ประมาณค่าเกินขอบเขตที่ปลอดภัย
จุดจำนวนเล็กน้อยในปริภูมิการค้นหาจะถูกประเมินแบบสุ่มหรือผ่านการออกแบบที่เติมเต็มปริภูมิ (เช่น Latin hypercube sampling) การสังเกตการณ์เริ่มต้นเหล่านี้ — โดยทั่วไปคือห้าถึงสิบจุด — ให้ข้อมูลเพียงพอแก่แบบจำลองตัวแทนเพื่อสร้างแผนที่คร่าวๆ แรกของภูมิทัศน์วัตถุประสงค์ก่อนที่วงจรแบบลำดับขั้นจะเริ่มต้นขึ้น
การสังเกตการณ์ทั้งหมดที่รวบรวมได้จนถึงขณะนี้จะถูกนำมาใช้เพื่อปรับแบบจำลองตัวแทนเชิงความน่าจะเป็น โดยทั่วไปคือ Gaussian Process GP จะส่งคืนทั้งค่าเฉลี่ยของการทำนายและค่าประมาณความไม่แน่นอนที่ทุกจุดในปริภูมิ ซึ่งจับทั้งสิ่งที่ทราบและความมั่นใจของแบบจำลอง แบบจำลองตัวแทนสามารถประเมินได้ในราคาถูก ดังนั้นจึงสามารถสอบถามได้หลายพันครั้งแทนที่จะเป็นวัตถุประสงค์จริงที่มีค่าใช้จ่ายสูง
ฟังก์ชันการได้มา (acquisition function) — เช่น Expected Improvement (EI) หรือ Upper Confidence Bound (UCB) — จะถูกทำให้มีค่าสูงสุดบนแบบจำลองตัวแทนเพื่อเลือกจุดผู้สมัครถัดไป EI วัดผลกำไรที่คาดหวังจากค่าที่ดีที่สุดปัจจุบัน UCB เพิ่มโบนัสการสำรวจที่ถ่วงน้ำหนักด้วยความเชื่อมั่น ขั้นตอนนี้คือจุดที่การแลกเปลี่ยนระหว่างการสำรวจและการใช้ประโยชน์ได้รับการแก้ไข: พื้นที่ที่มีประสิทธิภาพที่คาดการณ์ไว้สูงและพื้นที่ที่มีความไม่แน่นอนสูงต่างก็ดึงดูดความสนใจ
จุดผู้สมัครที่เลือกโดยฟังก์ชันการได้มาจะถูกส่งไปยังวัตถุประสงค์จริง — ตัวอย่างเช่น การฝึกและตรวจสอบความถูกต้องของโครงข่ายประสาทเทียมด้วยไฮเปอร์พารามิเตอร์เหล่านั้น การประเมินนี้เป็นขั้นตอนที่มีค่าใช้จ่ายสูง ผลลัพธ์ (คะแนน) จะถูกบันทึกพร้อมกับพิกัดของผู้สมัคร
การสังเกตการณ์ใหม่จะถูกเพิ่มเข้าไปในชุดข้อมูล แบบจำลองตัวแทนจะถูกปรับปรุงใหม่ และวงจรจะกลับไปยังขั้นตอนฟังก์ชันการได้มา หลังจากงบประมาณการทำซ้ำหมดลง การกำหนดค่าไฮเปอร์พารามิเตอร์ที่ให้คะแนนที่ดีที่สุดที่สังเกตได้จะถูกส่งคืนเป็นคำแนะนำสุดท้าย
ข้อผิดพลาดที่พบบ่อย
- การสุ่มทดลองเริ่มต้นน้อยเกินไปทำให้แบบจำลองตัวแทนไม่ได้รับการปรับเทียบอย่างเหมาะสม ควรใช้จุดเริ่มต้นสุ่มอย่างน้อยห้าจุด และมากขึ้นในปริภูมิที่มีมิติสูงกว่า
- การรันตัวปรับจูนเป็นจำนวนครั้งน้อยเกินไป (น้อยกว่าประมาณสิบครั้ง) หมายความว่าแบบจำลองตัวแทนไม่เคยมีความน่าเชื่อถือ ในกรณีเช่นนี้ การค้นหาสุ่มแบบง่ายจะดีกว่า
- การละเลยการเลือกฟังก์ชันการได้มา: EI ให้ความสำคัญกับการใช้ประโยชน์ (exploitation) และอาจติดอยู่ใกล้ผลลัพธ์ที่ดีในช่วงต้น UCB เพิ่มการสำรวจผ่านน้ำหนักความเชื่อมั่นที่ปรับได้ — ไม่มีอันไหนดีที่สุดเสมอไป และควรตรวจสอบค่าเริ่มต้นเทียบกับโครงสร้างของปัญหา
- การปฏิบัติต่อ Bayesian Optimization ในฐานะกล่องดำ: ควรตรวจสอบร่องรอยการลู่เข้า (คะแนนที่ดีที่สุดที่เคยเห็นเทียบกับจำนวนครั้งที่ทำซ้ำ) เสมอเพื่อตรวจจับการหยุดชะงักตั้งแต่เนิ่นๆ
- การใช้วิธีการเมื่อการประเมินมีค่าใช้จ่ายต่ำ — random search หรือ grid search จะลู่เข้าได้ดีเช่นกันโดยมีค่าใช้จ่ายในการนำไปใช้ที่น้อยกว่า
คำถามที่พบบ่อย
Bayesian Optimization แตกต่างจาก grid search หรือ random search อย่างไร?
Grid search ประเมินตารางการกำหนดค่าที่ตายตัว และ random search สุ่มตัวอย่างแบบสุ่มอย่างสม่ำเสมอ — ทั้งสองวิธีละเลยผลลัพธ์ของการทดลองก่อนหน้าเมื่อเลือกจุดถัดไป Bayesian Optimization ใช้การสังเกตการณ์ที่ผ่านมาทั้งหมดอย่างแข็งขันเพื่อสร้างแบบจำลองตัวแทน และเลือกจุดถัดไปที่มีแนวโน้มมากที่สุดที่จะปรับปรุงค่าที่ดีที่สุดปัจจุบัน ทำให้ประหยัดตัวอย่างได้มากกว่ามากเมื่อการประเมินมีค่าใช้จ่ายสูง
ควรใช้ฟังก์ชันการได้มา (acquisition function) ใด?
Expected Improvement (EI) เป็นค่าเริ่มต้นที่ใช้กันอย่างแพร่หลายที่สุด: มันวัดผลกำไรที่คาดหวังจากค่าที่ดีที่สุดปัจจุบัน และมีแนวโน้มที่จะเชื่อถือได้ในทุกประเภทของปัญหา Upper Confidence Bound (UCB) เพิ่มโบนัสการสำรวจที่ปรับได้ และมักจะถูกเลือกเมื่อภูมิทัศน์ยังไม่เป็นที่เข้าใจดีนัก Probability of Improvement (PI) เน้นการใช้ประโยชน์มากกว่า และอาจลู่เข้าก่อนเวลาอันควร เริ่มต้นด้วย EI และเปลี่ยนไปใช้ UCB หากตัวปรับจูนดูเหมือนจะหยุดนิ่ง
ต้องใช้การทำซ้ำกี่ครั้ง?
ไม่มีกฎสากล แต่การประเมินผลทั้งหมดน้อยกว่าประมาณสิบครั้ง (รวมถึงการสุ่มทดลองเริ่มต้น) ทำให้แบบจำลองตัวแทนมีข้อมูลน้อยเกินไปที่จะเชื่อถือได้ การใช้งานจริงมักใช้จุดสุ่มเริ่มต้นห้าถึงสิบจุด ตามด้วยการทำ Bayesian ขั้นตอนแบบลำดับขั้นยี่สิบถึงห้าสิบครั้ง เมื่อคะแนนที่ดีที่สุดที่เคยเห็นหยุดนิ่งเป็นเวลาหลายครั้งติดต่อกัน สามารถหยุดงบประมาณได้
Bayesian Optimization สามารถทำงานแบบขนานได้หรือไม่?
Bayesian Optimization แบบมาตรฐานมีลักษณะเป็นลำดับขั้นโดยธรรมชาติ ส่วนขยายแบบ batch-mode ช่วยให้สามารถเสนอชุดของผู้สมัครพร้อมกันได้ — กลยุทธ์ทั่วไป ได้แก่ Local Penalization และ Kriging Believer heuristic — ทำให้สามารถประเมินผลแบบขนานได้ ส่วนขยายแบบอะซิงโครนัสจะเปิดตัวผู้สมัครรายใหม่เมื่อมี worker ว่าง แทนที่จะรอให้ batch ทั้งหมดเสร็จสิ้น ส่วนขยายเหล่านี้มีอยู่ในไลบรารี เช่น Optuna และ BoTorch
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian Optimization of Machine Learning Algorithms. Advances in Neural Information Processing Systems (NeurIPS), 25.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วFrazier, P.I. (2018). A Tutorial on Bayesian Optimization. arXiv:1807.02811.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว