การหาค่าเหมาะสมที่สุดโดยใช้ตัวแทน — การออกแบบโดยใช้แบบจำลองช่วย
- ผู้เสนอ
- Sacks, Welch, Mitchell & Wynn (computer experiments framework, 1989); Kriging popularised by Matheron (1963)
- ปี
- 1989 (computer experiments formulation)
- ประเภท
- Metamodel-assisted black-box optimization
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การหาค่าเหมาะสมที่สุดโดยใช้ตัวแทน (Surrogate-based optimization) ซึ่งถูกกำหนดรูปแบบไว้ในกรอบการทดลองคอมพิวเตอร์ของ Sacks et al. (1989) และได้รับความนิยมในการวิศวกรรมโดย Forrester et al. (2008) ได้เข้ามาแทนที่การจำลองหรือการทดลองทางกายภาพที่มีค่าใช้จ่ายสูงเกินไป ด้วยแบบจำลองประมาณค่าที่รวดเร็ว ซึ่งเรียกว่า ตัวแทน (surrogate) หรือ แบบจำลองช่วย (metamodel) จากนั้นจึงทำการหาค่าเหมาะสมที่สุดของตัวแทนนั้น ตัวแทนโดยทั่วไปคือ Kriging (Gaussian Process), Radial Basis Function, หรือพื้นผิวการตอบสนองพหุนาม (polynomial response surface) ที่ปรับให้เข้ากับชุดข้อมูลการประเมินการออกแบบที่เลือกไว้อย่างรอบคอบ และมีการปรับปรุงเป็นระยะเมื่อการค้นหาดำเนินไป
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการว่าทุกครั้งที่คุณต้องการทดสอบรูปทรงปีกเครื่องบินแบบใหม่ คุณต้องทำการจำลองพลศาสตร์ของไหลเชิงคำนวณ (CFD) เต็มรูปแบบ ซึ่งใช้เวลา 48 ชั่วโมง การทำการประเมินลักษณะนี้หลายพันครั้งเพื่อหารูปทรงที่ดีที่สุดนั้นเป็นไปไม่ได้ การหาค่าเหมาะสมที่สุดโดยใช้ตัวแทนจะหลีกเลี่ยงปัญหานี้ได้โดยการทำการจำลองชุดเล็กๆ ที่จุดออกแบบที่กระจายตัวอย่างดีก่อน จากนั้นจึงปรับแบบจำลองคณิตศาสตร์ที่รวดเร็ว (ตัวแทน) ซึ่งสามารถคาดการณ์ประสิทธิภาพสำหรับแบบที่ยังไม่ได้ทดสอบได้ในเวลาไม่กี่วินาที ทำการหาค่าเหมาะสมที่สุดของแบบจำลองนั้น และเลือกแบบที่น่าจะเป็นไปได้มากที่สุดเพื่อทำการจำลองจริง ตัวแทนจะฉลาดขึ้นเมื่อมีการเพิ่มข้อมูลใหม่แต่ละจุด และในที่สุดเครื่องมือจำลองที่มีค่าใช้จ่ายสูงจะถูกเรียกใช้เฉพาะในส่วนที่สำคัญจริงๆ เท่านั้น
ประวัติศาสตร์
รากฐานทางสถิติถูกวางไว้โดย Sacks, Welch, Mitchell, และ Wynn ในบทความสำคัญปี 1989 ของพวกเขา "Design and Analysis of Computer Experiments" (Statistical Science) ซึ่งได้นำเสนอ กรอบการทำงาน Kriging สำหรับการเลียนแบบรหัสคอมพิวเตอร์แบบกำหนด (deterministic computer codes) ตัว Kriging เองมีรากฐานมาจากการทำงานด้านธรณีสถิติ (geostatistics) ของ Georges Matheron ในทศวรรษ 1960 แนวทางนี้ถูกทำให้เป็นระบบสำหรับการหาค่าเหมาะสมที่สุดในการออกแบบทางวิศวกรรมโดย Forrester, Sobester, และ Keane ในตำราของ Wiley ปี 2008 ซึ่งได้กำหนด Latin Hypercube Sampling, การตรวจสอบไขว้, และการปรับปรุงที่คาดหวัง (expected-improvement) เป็นกระบวนการมาตรฐาน ตั้งแต่นั้นมา สาขานี้ได้ขยายตัวเพื่อรวมถึงตัวแทนหลายความเที่ยงตรง (multi-fidelity surrogates), การหาค่าเหมาะสมที่สุดแบบเบย์ (Bayesian optimization) (ซึ่งเป็นสูตรความน่าจะเป็นที่เกี่ยวข้องอย่างใกล้ชิด), และตัวแทนการเรียนรู้เชิงลึก (deep-learning surrogates) สำหรับปัญหาที่มีมิติสูงมาก
ควรใช้เมื่อใด
การหาค่าเหมาะสมที่สุดโดยใช้ตัวแทนเป็นทางเลือกที่เหมาะสมเมื่อฟังก์ชันวัตถุประสงค์จริงมีค่าใช้จ่ายสูงเกินไปในการประเมิน — ผ่าน CFD, การวิเคราะห์ไฟไนต์เอลิเมนต์, การทดลองในห้องปฏิบัติการ, หรือการจำลองแบบหลายฟิสิกส์ — จนมีเพียงหลักสิบถึงหลักร้อยการประเมินเท่านั้นที่สามารถจ่ายได้ วิธีการนี้ต้องการให้การตอบสนองจริงมีความราบรื่นเพียงพอสำหรับตัวแทนที่จะประมาณค่าได้ ฟังก์ชันที่มีการไม่ต่อเนื่องสูง (highly discontinuous) หรือฟังก์ชันสุ่ม (stochastic) อาจต้องใช้ตัวแทนพิเศษหรือเทคนิคการลดความแปรปรวน ปริภูมิการออกแบบควรเป็นปริภูมิต่อเนื่อง การออกแบบเริ่มต้นที่เติมเต็มปริภูมิ (Latin Hypercube Sampling) และการตรวจสอบไขว้ของตัวแทนเป็นข้อกำหนดเบื้องต้นที่ไม่สามารถละเลยได้
ข้อจำกัดและข้อควรพิจารณา
- ความแม่นยำของตัวแทนลดลงในปริภูมิที่มีมิติสูง (คำสาปแห่งมิติ - curse of dimensionality); โดยทั่วไปสามารถใช้งานได้ถึงประมาณ 20–50 ตัวแปรออกแบบโดยไม่ต้องลดมิติ
- หากฟังก์ชันจริงมีการไม่ต่อเนื่องสูงหรือมีหลายค่าเหมาะสม (multimodal) ตัวแทนอาจแสดงผลผิดพลาดและนำพาตัวหาค่าเหมาะสมที่สุดไปยังค่าที่ผิด
- งบประมาณการฝึกสอนเริ่มต้นต้องถูกกำหนดอย่างรอบคอบ จุดน้อยเกินไปจะทำให้ตัวแทนมีคุณภาพต่ำ จุดมากเกินไปจะทำให้วัตถุประสงค์ของการหลีกเลี่ยงการประเมินที่มีค่าใช้จ่ายสูงเสียไป
- การปรับ Kriging และการหาค่าเหมาะสมที่สุดของฟังก์ชันการได้มา (acquisition function) เพิ่มภาระในการคำนวณที่เพิ่มขึ้นตามขนาดของชุดข้อมูลฝึกสอน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดจำนวนการประเมินจริงที่มีค่าใช้จ่ายสูงที่จำเป็นในการหารูปแบบที่ใกล้เคียงค่าเหมาะสมที่สุดได้อย่างมาก
- ตัวแทน Kriging ให้การประเมินความไม่แน่นอนที่ช่วยให้สามารถใช้กลยุทธ์การเติมข้อมูลที่มีหลักการ เช่น การปรับปรุงที่คาดหวัง (expected improvement)
- ทำงานกับปัญหาแบบกล่องดำ (black-box problems) ที่ไม่มีข้อมูลเกรเดียนต์
- สามารถนำไปใช้ได้ในสาขาวิศวกรรม วิทยาศาสตร์ และสาขาใดก็ตามที่ต้นทุนการจำลองมีผลอย่างมาก
- ตัวแทนที่นำกลับมาใช้ใหม่ได้สามารถตอบคำถามการออกแบบหลายคำถามโดยไม่ต้องมีการประเมินจริงเพิ่มเติม
การประยุกต์ใช้
- การหาค่าเหมาะสมที่สุดของรูปทรงอากาศพลศาสตร์ของปีกเครื่องบินและใบพัดกังหันโดยใช้การจำลอง CFD
- การหาค่าเหมาะสมที่สุดเชิงโครงสร้างในการวิเคราะห์ไฟไนต์เอลิเมนต์ ซึ่งการจำลองแต่ละครั้งใช้เวลาหลายชั่วโมง
- การออกแบบความทนทานต่อการชน (crashworthiness) และ NVH (noise, vibration, harshness) ในยานยนต์ภายใต้งบประมาณการประเมินที่จำกัด
- การออกแบบกระบวนการทางเคมีและเครื่องปฏิกรณ์ ซึ่งการทดลองทางกายภาพมีค่าใช้จ่ายสูงและใช้เวลานาน
- การปรับพารามิเตอร์ไฮเปอร์พารามิเตอร์ (Hyperparameter tuning) ในการเรียนรู้ของเครื่อง (machine learning) เมื่อการฝึกสอนแบบจำลองมีค่าใช้จ่ายสูง
- การพัฒนารูปแบบยาและการออกแบบการทดลองทางคลินิก
วิธีการทำงาน
วิธีการทำงาน
การออกแบบการทดลองที่เติมเต็มปริภูมิ (space-filling experimental design) — โดยทั่วไปคือ Latin Hypercube Sampling — ถูกใช้เพื่อกำหนดชุดจุดออกแบบเริ่มต้นทั่วทั้งปริภูมิที่เป็นไปได้ เป้าหมายคือการกระจายตัวให้มากที่สุด เพื่อให้สามารถฝึกสอนตัวแทนได้โดยมีความเอนเอียงน้อยที่สุดต่อภูมิภาคใดๆ
จุดออกแบบเริ่มต้นแต่ละจุดจะถูกส่งไปยังตัวประเมินจริงที่มีค่าใช้จ่ายสูง: ตัวแก้ปัญหา CFD, การวิเคราะห์ไฟไนต์เอลิเมนต์ (finite-element analysis), การทดสอบต้นแบบทางกายภาพ หรือฟังก์ชันความเที่ยงตรงสูงอื่นๆ ขั้นตอนนี้เป็นคอขวดในการคำนวณ ผลลัพธ์ของขั้นตอนนี้จะกลายเป็นชุดข้อมูลฝึกสอนสำหรับตัวแทน
แบบจำลองตัวแทน — Kriging, Radial Basis Function, พื้นผิวการตอบสนองพหุนาม, หรือโครงข่ายประสาทเทียม (neural network) — จะถูกปรับให้เข้ากับข้อมูลฝึกสอน Kriging เป็นที่นิยมในการออกแบบทางวิศวกรรมเนื่องจากไม่เพียงแต่ให้การคาดการณ์ แต่ยังให้การประเมินความไม่แน่นอนที่วัดปริมาณได้ ณ จุดที่ยังไม่ได้เยี่ยมชมแต่ละจุด
ความเหมาะสมของตัวแทนจะถูกตรวจสอบโดยการตรวจสอบไขว้ (cross-validation) หรือโดยการเปรียบเทียบการคาดการณ์ของตัวแทน ณ ชุดจุดทดสอบที่แยกไว้ กับการประเมินจริง ตัวชี้วัด เช่น R-squared, RMSE, และค่าความคลาดเคลื่อนสัมบูรณ์สูงสุด (maximum absolute error) จะบ่งชี้ว่าตัวแทนสามารถแสดงฟังก์ชันจริงได้ดีพอที่จะนำทางการหาค่าเหมาะสมที่สุดหรือไม่ หากการตรวจสอบล้มเหลว จะมีการเพิ่มจุดฝึกสอนเพิ่มเติม
ตัวหาค่าเหมาะสมที่สุดที่รวดเร็ว — แบบใช้เกรเดียนต์ (gradient-based) หรือแบบวิวัฒนาการ (evolutionary) — จะค้นหาตัวแทนที่ปรับให้เหมาะสมที่สุด เนื่องจากต้นทุนในการประเมินตัวแทนแทบไม่มีเลย สามารถประเมินผลการแก้ปัญหาของผู้สมัครได้หลายพันรายการในเวลาไม่กี่วินาที
การออกแบบที่คาดการณ์ว่าเหมาะสมที่สุด (หรือให้ข้อมูลมากที่สุด ภายใต้เกณฑ์การปรับปรุงที่คาดหวัง (expected-improvement criteria)) จะถูกส่งกลับไปยังตัวประเมินที่มีค่าใช้จ่ายสูง การตอบสนองจริงจะถูกเพิ่มเข้าไปในชุดฝึกสอน และตัวแทนจะถูกปรับปรุงใหม่ วงจรนี้จะดำเนินต่อไปจนกว่าจะถึงเกณฑ์การหยุด — งบประมาณ, การลู่เข้า, หรือเป้าหมายความแม่นยำ — ที่กำหนดไว้
ข้อผิดพลาดที่พบบ่อย
- การข้ามการตรวจสอบไขว้ของตัวแทนเป็นข้อผิดพลาดที่พบบ่อยที่สุด — ตัวแทนที่มีคุณภาพต่ำจะชี้นำตัวหาค่าเหมาะสมที่สุดอย่างเป็นระบบ
- การใช้การออกแบบเริ่มต้นแบบสุ่มสม่ำเสมอแทน Latin Hypercube ที่เติมเต็มปริภูมิ จะทำให้บางส่วนของปริภูมิการออกแบบถูกครอบคลุมไม่เพียงพอ ทำให้เกิดจุดบอดของตัวแทน
- การใช้วิธีการกับปัญหาที่มีการตอบสนองแบบสุ่ม (การจำลองที่มีสัญญาณรบกวน หรือการทดลองทางกายภาพ) โดยไม่คำนึงถึงสัญญาณรบกวนในแบบจำลองตัวแทน จะนำไปสู่การปรับให้เหมาะสมกับสัญญาณรบกวนมากเกินไป แทนที่จะเป็นแนวโน้มที่แท้จริง
- การหยุดวงจรการปรับปรุงเร็วเกินไป — ก่อนที่ตัวแทนจะลู่เข้า — อาจหมายความว่าค่าเหมาะสมที่รายงานเป็นเพียงสิ่งประดิษฐ์ของตัวแทน แทนที่จะเป็นการปรับปรุงการออกแบบที่แท้จริง
คำถามที่พบบ่อย
ควรเลือกประเภทตัวแทนแบบใด — Kriging, RBF, หรือพหุนาม?
Kriging (Gaussian Process) เป็นค่าเริ่มต้นสำหรับการออกแบบทางวิศวกรรม เนื่องจากให้ทั้งการคาดการณ์และการประเมินความไม่แน่นอน ณ จุด ทำให้สามารถใช้กลยุทธ์การเติมข้อมูลที่มีหลักการ เช่น การปรับปรุงที่คาดหวัง (expected improvement) ได้ Radial Basis Functions มีภาระในการคำนวณน้อยกว่าและปรับขนาดได้ดีกว่าเล็กน้อย พื้นผิวการตอบสนองพหุนามนั้นง่ายและตีความได้ แต่มีปัญหาในการจัดการกับการตอบสนองที่ไม่เป็นเชิงเส้นหรือมีหลายค่าเหมาะสม (multimodal) ควรเริ่มต้นด้วย Kriging เว้นแต่ว่ามิติหรือขนาดของชุดข้อมูลฝึกสอนทำให้ไม่สามารถใช้งานได้
ต้องใช้จุดออกแบบเริ่มต้นกี่จุด?
กฎทั่วไปที่ใช้กันคือ 10 เท่าของจำนวนตัวแปรออกแบบสำหรับตัวอย่าง Latin Hypercube เริ่มต้น แม้ว่าสิ่งนี้จะขึ้นอยู่กับความราบรื่นของการตอบสนอง ตัวชี้วัดการตรวจสอบ (cross-validation R-squared, RMSE) ควรยืนยันว่าตัวแทนเพียงพอ ก่อนที่การหาค่าเหมาะสมที่สุดจะดำเนินต่อไป จุดเพิ่มเติมจะถูกเพิ่มผ่านวงจรการเติมข้อมูล แทนที่จะเพิ่มทั้งหมดในครั้งเดียว
การหาค่าเหมาะสมที่สุดโดยใช้ตัวแทนเหมือนกับการหาค่าเหมาะสมที่สุดแบบเบย์หรือไม่?
ทั้งสองมีความเกี่ยวข้องกันอย่างใกล้ชิด แต่ไม่เหมือนกัน การหาค่าเหมาะสมที่สุดแบบเบย์เป็นรูปแบบเฉพาะของการหาค่าเหมาะสมที่สุดโดยใช้ตัวแทน ซึ่งใช้ตัวแทน Gaussian Process พร้อมฟังก์ชันการได้มา (acquisition function) เชิงความน่าจะเป็น (เช่น การปรับปรุงที่คาดหวัง) เพื่อเลือกจุดเติมข้อมูล กรอบการทำงานที่กว้างกว่าของการหาค่าเหมาะสมที่สุดโดยใช้ตัวแทนรวมถึงตัวแทนที่ไม่ใช่เชิงความน่าจะเป็น (RBF, พหุนาม) และเกณฑ์การเติมข้อมูลอื่นๆ ดังนั้น การหาค่าเหมาะสมที่สุดแบบเบย์จึงเป็นส่วนหนึ่งของกรอบงานที่กว้างกว่า
จะเกิดอะไรขึ้นหากการจำลองของฉันมีสัญญาณรบกวนแทนที่จะเป็นแบบกำหนด?
Kriging มาตรฐานสมมติว่าการตอบสนองเป็นแบบกำหนด สำหรับตัวจำลองแบบสุ่ม ต้องเพิ่มเทอมสัญญาณรบกวน (noise term) เข้าไปในแบบจำลองความแปรปรวนร่วม (covariance model) ของ Kriging (พารามิเตอร์ก้อนกรวด (nugget parameter) หรือ stochastic Kriging) หากไม่มีสิ่งนี้ ตัวแทนจะปรับให้เหมาะสมกับสัญญาณรบกวนมากเกินไป แทนที่จะเป็นแนวโน้มที่แท้จริง และตัวหาค่าเหมาะสมที่สุดจะถูกชี้นำผิดทาง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Forrester, A., Sobester, A., & Keane, A. (2008). Engineering Design via Surrogate Modelling: A Practical Guide. Wiley.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วSacks, J., Welch, W. J., Mitchell, T. J., & Wynn, H. P. (1989). Design and Analysis of Computer Experiments. Statistical Science, 4(4), 409-423.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว