กระบวนการเกาส์เซียน
- ผู้เสนอ
- Rasmussen, C. E. & Williams, C. K. I.
- ปี
- 2006 (book); roots in Kriging, 1951)
- ประเภท
- Probabilistic non-parametric model
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
กระบวนการเกาส์เซียน (Gaussian Process - GP) เป็นแบบจำลองการเรียนรู้ของเครื่องแบบไม่ใช้พารามิเตอร์ (non-parametric) ที่มีความน่าจะเป็นสมบูรณ์ (fully probabilistic) ซึ่งกำหนดการแจกแจงก่อน (prior distribution) โดยตรงบนฟังก์ชัน แทนที่จะทำนายค่าเดียว GP จะให้ค่าเฉลี่ยของการทำนาย (predictive mean) และการประมาณค่าความไม่แน่นอนที่ปรับเทียบแล้ว (calibrated uncertainty estimate) ณ จุดทดสอบแต่ละจุด ทำให้มีคุณค่าอย่างยิ่งสำหรับการถดถอยบนชุดข้อมูลขนาดเล็กถึงปานกลาง และสำหรับงานการหาค่าที่เหมาะสมที่สุดแบบเบย์ (Bayesian optimization)
แนวคิดเบื้องหลังวิธีการ
แทนที่จะปรับเส้นโค้งที่ตายตัวให้เข้ากับข้อมูลของคุณ กระบวนการเกาส์เซียนจะรักษาการแจกแจงทั้งหมดของเส้นโค้งที่เป็นไปได้ซึ่งสอดคล้องกับสิ่งที่คุณสังเกตเห็น ก่อนที่จะเห็นข้อมูล GP จะสมมติว่าฟังก์ชันควรจะเรียบ (smooth) (ตามที่กำหนดโดยเคอร์เนล) หลังจากเห็นข้อมูลแล้ว GP จะจำกัดการแจกแจงนั้นให้แคบลง: จุดทดสอบที่อยู่ใกล้เคียงจะได้รับการทำนายที่แม่นยำและมั่นใจ ในขณะที่บริเวณที่ห่างไกลหรือมีข้อมูลเบาบางจะให้แถบความไม่แน่นอนที่กว้าง การวัดปริมาณความไม่แน่นอนในตัวนี้คือสิ่งที่ทำให้ GP แตกต่างจากแบบจำลองส่วนใหญ่
ประวัติศาสตร์
กระบวนการเกาส์เซียนมีรากฐานมาจาก Kriging ซึ่งพัฒนาโดย Danie Krige ในสาขาธรณีสถิติ (geostatistics) ในทศวรรษ 1950 และทำให้เป็นรูปธรรมโดย Georges Matheron การนำไปใช้ในการเรียนรู้ของเครื่องส่วนใหญ่ขับเคลื่อนโดย Carl Rasmussen และ Christopher Williams ซึ่งหนังสือของพวกเขาในปี 2006 จาก MIT Press กลายเป็นแหล่งอ้างอิงที่สมบูรณ์แบบ โดยกำหนดให้ GP เป็นทางเลือกแบบไม่ใช้พารามิเตอร์แบบเบย์ที่มีหลักการ แทนที่โครงข่ายประสาทเทียม (neural networks) และ SVM แบบเคอร์เนล (kernel SVMs) โดยเฉพาะอย่างยิ่งสำหรับสถานการณ์ที่การวัดปริมาณความไม่แน่นอนเป็นสิ่งจำเป็น
ควรใช้เมื่อใด
กระบวนการเกาส์เซียนมีความโดดเด่นบนชุดข้อมูลขนาดเล็กถึงปานกลาง (สูงสุดสองสามพันแถว) ที่การวัดปริมาณความไม่แน่นอนมีความสำคัญ — ตัวอย่างเช่น การทดลองทางวิทยาศาสตร์ การออกแบบทางวิศวกรรม หรือการสร้างแบบจำลองตัวแทน (surrogate modelling) สำหรับการจำลองที่มีค่าใช้จ่ายสูง เป็นวิธีการที่เลือกสำหรับ Bayesian optimization ควรเลือก GP แทนแบบจำลองที่ง่ายกว่าเมื่อคุณต้องการช่วงการทำนายที่ปรับเทียบได้ แทนที่จะเป็นเพียงค่าประมาณจุด และเมื่อความสัมพันธ์ระหว่างอินพุตและเอาต์พุตคาดว่าจะเรียบ ควรหลีกเลี่ยง GP เมื่อ n เกินประมาณ 10,000 การสังเกต เนื่องจาก inference แบบแม่นตรง (exact inference) มีสเกลเป็น O(n^3) ทำให้ไม่สามารถคำนวณได้จริงหากไม่มีการประมาณค่า GP ยังมีปัญหาในปริภูมิอินพุตที่มีมิติสูงมาก และกับฟังก์ชันที่ไม่ต่อเนื่องหรือไม่คงที่ (non-stationary) อย่างมาก เว้นแต่จะใช้เคอร์เนลที่ปรับแต่งอย่างระมัดระวัง
ข้อจำกัดและข้อควรพิจารณา
- การอนุมานแบบแม่นตรงมีค่าใช้จ่าย O(n^3) ในด้านเวลา และ O(n^2) ในด้านหน่วยความจำ ทำให้ไม่สามารถใช้งานได้จริงสำหรับ n ขนาดใหญ่หากไม่มีวิธีการ GP แบบเบาบาง (sparse) หรือแบบประมาณ (approximate)
- ประสิทธิภาพลดลงในปริภูมิอินพุตที่มีมิติสูงมากเนื่องจากการสาปของมิติ (curse of dimensionality) ในระยะห่างของเคอร์เนล
- การเลือกและการรวมเคอร์เนลต้องใช้ความรู้เฉพาะทาง การเลือกเคอร์เนลที่ไม่ดีนำไปสู่การสอบเทียบความไม่แน่นอนที่ไม่ดี
- การจำแนกประเภท (GP classifiers) ต้องใช้การประมาณค่าแบบ Laplace หรือ expectation-propagation เพิ่มเติม ซึ่งเพิ่มความซับซ้อน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ส่งคืนช่วงความไม่แน่นอนของการทำนายที่ปรับเทียบแล้วพร้อมกับการทำนายค่าจุด
- มีประสิทธิภาพในการใช้ตัวอย่างสูงมาก — ทำงานได้ดีบนชุดข้อมูลขนาดเล็กที่แบบจำลองแบบต้นไม้ (tree-based models) เกิดการปรับให้เหมาะสมมากเกินไป (overfit)
- การเลือกและการรวมเคอร์เนลสามารถเข้ารหัสความรู้เฉพาะทางเกี่ยวกับความเรียบ ความเป็นคาบ (periodicity) หรือมาตราส่วนได้อย่างยืดหยุ่น
- ไฮเปอร์พารามิเตอร์จะถูกเรียนรู้จากข้อมูลผ่าน marginal likelihood ซึ่งให้การปรับให้เหมาะสมโดยอัตโนมัติ
- กรอบงานพื้นฐานสำหรับ Bayesian optimization และการออกแบบการทดลองแบบเรียนรู้เชิงรุก (active learning)
การประยุกต์ใช้
- การถดถอยบนชุดข้อมูลทางวิทยาศาสตร์และวิศวกรรมขนาดเล็กถึงปานกลางที่ต้องการช่วงความเชื่อมั่นที่ปรับเทียบได้
- Bayesian optimization ของฟังก์ชันกล่องดำที่มีค่าใช้จ่ายสูง เช่น การปรับจูนไฮเปอร์พารามิเตอร์ หรือการออกแบบการทดลอง
- การสร้างแบบจำลองตัวแทน (Surrogate modelling) สำหรับการจำลองด้วยคอมพิวเตอร์ที่มีค่าใช้จ่ายสูงในสาขาสหการบิน (aerospace) วัสดุศาสตร์ และแบบจำลองสภาพภูมิอากาศ
- การประมาณค่าเชิงพื้นที่-เวลา (Spatio-temporal interpolation) และการทำแผนที่ทางธรณีสถิติ (Kriging)
- การเรียนรู้เชิงรุก (Active learning): ใช้ความแปรปรวนภายหลังเพื่อเลือกการวัดครั้งต่อไปที่มีข้อมูลมากที่สุด
- การสร้างแบบจำลองอนุกรมเวลาด้วยเคอร์เนลที่เป็นคาบหรือแบบผสมที่เข้ารหัสโครงสร้างตามฤดูกาล
วิธีการทำงาน
วิธีการทำงาน
ฟังก์ชันเคอร์เนล (kernel function) (โดยทั่วไปคือ squared-exponential / RBF) เข้ารหัสความเชื่อก่อน (prior beliefs) เกี่ยวกับความเรียบของฟังก์ชันและมาตราส่วนความยาว (length scale) มันวัดความคล้ายคลึงกันระหว่างจุดข้อมูลอินพุตสองจุดใดๆ: อินพุตที่คล้ายกันควรให้เอาต์พุตที่คล้ายกัน การเลือกรูปร่างของเคอร์เนลมีอิทธิพลอย่างมากต่อประเภทของฟังก์ชันที่ GP สามารถแสดงได้
สูตร
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)ก่อนที่จะสังเกตข้อมูลใดๆ GP จะกำหนดการแจกแจงก่อนบนฟังก์ชัน: การรวบรวมค่าฟังก์ชันที่มีขอบเขตจำกัดใดๆ จะเป็นการแจกแจงแบบเกาส์เซียนร่วม (jointly Gaussian) โดยมีฟังก์ชันค่าเฉลี่ย m(x) และความแปรปรวนร่วม (covariance) ที่กำหนดโดยเคอร์เนล การแจกแจงก่อนนี้คือความเชื่อเริ่มต้นเกี่ยวกับพฤติกรรมของฟังก์ชันที่ไม่ทราบค่า
สูตร
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))การปรับเงื่อนไขของการแจกแจงก่อนด้วยข้อมูลการฝึกที่สังเกตได้จะให้การแจกแจงภายหลัง (posterior distribution) ซึ่งก็คือการแจกแจงแบบเกาส์เซียนเช่นกัน ค่าเฉลี่ยภายหลังจะกลายเป็นค่าทำนาย ณ อินพุตใหม่ x* ใดๆ และความแปรปรวนภายหลังจะให้ช่วงความเชื่อมั่นที่ปรับเทียบแล้ว ซึ่งจะแคบลงโดยอัตโนมัติในบริเวณที่มีข้อมูลการฝึกหนาแน่น
สูตร
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)ไฮเปอร์พารามิเตอร์ของเคอร์เนล (length scale, output variance, noise level) จะถูกประมาณค่าโดยการหาค่าสูงสุดของ log marginal likelihood ของข้อมูลการฝึก การหาค่าที่เหมาะสมที่สุดนี้จะสร้างสมดุลระหว่างความเหมาะสมของข้อมูลกับความซับซ้อนของแบบจำลอง ซึ่งทำการปรับให้เหมาะสมโดยอัตโนมัติ (regularisation) โดยไม่ต้องใช้พจน์การลงโทษแยกต่างหาก
สูตร
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})เมื่อถึงเวลาทำนาย ค่าเฉลี่ยภายหลังจะถูกส่งคืนเป็นค่าประมาณจุด (point estimate) และค่าเบี่ยงเบนมาตรฐานภายหลัง (posterior standard deviation) เป็นแถบความไม่แน่นอน ทั้งสองค่าสามารถนำไปใช้ได้โดยตรง: รายงานค่าเฉลี่ยสำหรับการคาดเดาที่ดีที่สุด และช่วงเพื่อสื่อสารว่าแบบจำลองมีความมั่นใจเพียงใด ณ ตำแหน่งอินพุตใหม่แต่ละตำแหน่ง
ข้อผิดพลาดที่พบบ่อย
- การใช้เคอร์เนล RBF เริ่มต้นโดยไม่ตรวจสอบว่าฟังก์ชันมีความคงที่และเรียบจริงหรือไม่ — รูปแบบที่เป็นคาบหรือไม่ต่อเนื่องต้องการเคอร์เนลที่แตกต่างกัน
- การลืมปรับมาตรฐานอินพุตและเอาต์พุตแบบต่อเนื่องก่อนทำการปรับ ซึ่งนำไปสู่เมทริกซ์ความแปรปรวนร่วมที่ปรับเงื่อนไขไม่ดี (ill-conditioned)
- การปฏิบัติต่อค่าเฉลี่ยภายหลังเพียงอย่างเดียวว่าเป็นผลลัพธ์และเพิกเฉยต่อแถบความไม่แน่นอน ซึ่งเป็นส่วนสำคัญของแบบจำลอง
- การใช้ GP แบบแม่นตรงกับชุดข้อมูลที่มี n เกินประมาณ 5,000 โดยไม่เปลี่ยนไปใช้วิธีการประมาณแบบเบาบางหรือจุดเหนี่ยวนำ (inducing-point approximation)
- การผสมผสานระหว่างสัญญาณรบกวนแบบสุ่ม (aleatoric noise - ข้อผิดพลาดในการวัดที่ลดไม่ได้) กับความไม่แน่นอนเชิงญาณ (epistemic uncertainty - ความไม่แน่นอนของแบบจำลอง) เมื่อตีความผลลัพธ์ความแปรปรวน
คำถามที่พบบ่อย
ควรเริ่มต้นด้วยเคอร์เนลแบบใด?
เคอร์เนล squared-exponential (RBF) เป็นจุดเริ่มต้นเริ่มต้น เนื่องจากให้ฟังก์ชันที่เรียบและหาอนุพันธ์ได้ไม่จำกัด และมีไฮเปอร์พารามิเตอร์ length-scale และ output-variance ที่ตีความได้ ควรเปลี่ยนไปใช้เคอร์เนล Matern หากคาดว่าฟังก์ชันจะมีความเรียบน้อยลง หรือเพิ่มส่วนประกอบที่เป็นคาบสำหรับข้อมูลตามฤดูกาล
ชุดข้อมูลของฉันมี 50,000 แถว ฉันยังสามารถใช้ GP ได้หรือไม่?
การอนุมาน GP แบบแม่นตรงจะมีค่าใช้จ่ายสูงเกินไปในสเกลนั้น พิจารณาใช้วิธีการ GP แบบเบาบาง (เช่น inducing points / FITC) หรือ stochastic variational GP ซึ่งทั้งสองวิธีช่วยลดต้นทุนการฝึกอบรมลงเหลือประมาณ O(nm^2) โดยที่ m คือจำนวนจุดเหนี่ยวนำ (m << n) ไลบรารี เช่น GPyTorch นำวิธีการเหล่านี้ไปใช้อย่างมีประสิทธิภาพ
GP แตกต่างจาก Bayesian linear regression อย่างไร?
Bayesian linear regression กำหนดการแจกแจงก่อนบนชุดสัมประสิทธิ์ที่มีจำนวนจำกัดและคงที่ ดังนั้นความยืดหยุ่นของแบบจำลองจึงถูกจำกัดโดยฟังก์ชันฐานที่เลือก GP กำหนดการแจกแจงก่อนโดยตรงบนฟังก์ชันในปริภูมิอนันต์มิติ ดังนั้นความซับซ้อนที่มีประสิทธิภาพจึงปรับให้เข้ากับข้อมูลโดยไม่ต้องกำหนดการขยายฐานล่วงหน้า
การประมาณค่าความไม่แน่นอนนั้นปรับเทียบได้อย่างแท้จริงหรือไม่?
ภายใต้แบบจำลองและเคอร์เนลที่ถูกต้อง ความไม่แน่นอนภายหลังของ GP จะได้รับการปรับเทียบอย่างดีตามการสร้าง แบบจำลองที่ไม่ถูกต้องอาจเกิดขึ้นจากการระบุเคอร์เนลผิดพลาด หรือการเพิกเฉยต่อโครงสร้างสัญญาณรบกวน ควรทำการตรวจสอบการทำนายภายหลังเสมอ — พล็อตค่าที่สังเกตได้เทียบกับค่าที่ทำนายพร้อมกับการครอบคลุมของช่วงความเชื่อมั่น (credible intervals)
กระบวนการเกาส์เซียนสามารถจัดการกับอินพุตประเภทหมวดหมู่ (categorical) หรือประเภทผสม (mixed-type) ได้หรือไม่?
เคอร์เนล GP มาตรฐานทำงานบนอินพุตแบบต่อเนื่อง อินพุตประเภทหมวดหมู่ต้องการเคอร์เนลพิเศษ (เช่น เคอร์เนลระยะทาง Hamming) หรือการเข้ารหัส สำหรับข้อมูลผสมที่มีประเภทหมวดหมู่เป็นส่วนใหญ่ หรือมีมิติสูงมาก แบบจำลองแบบต้นไม้ เช่น Random Forest หรือ gradient boosting มักจะเป็นจุดเริ่มต้นที่ดีกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9คัดลอกแล้วGaussian process. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว