Skip to content
กลับไปยังผลการค้นหา

กระบวนการเกาส์เซียนเชิงเบย์ (Bayesian Gaussian Process)

ผู้เสนอ
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
ปี
1978–2006
ประเภท
Probabilistic kernel model
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Gaussian Process แบบเบย์เซียน (GP) เป็นการวางการแจกแจงความน่าจะเป็นโดยตรงบนฟังก์ชัน โดยใช้เคอร์เนล (kernel) เพื่อเข้ารหัสความคล้ายคลึงกันระหว่างอินพุต หลังจากสังเกตข้อมูลแล้ว กฎของเบย์ (Bayes' rule) จะแปลง prior นี้ให้เป็น posterior ซึ่งให้ทั้งการทำนายแบบจุด (point predictions) และการประเมินความไม่แน่นอนที่สอบเทียบแล้ว (calibrated uncertainty estimates) ที่อินพุตใหม่แต่ละจุด ทำให้เป็นหนึ่งในโมเดลความน่าจะเป็นที่มีหลักการมากที่สุดในแมชชีนเลิร์นนิง

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการลากเส้นโค้งที่เป็นไปได้จำนวนอนันต์ผ่านข้อมูลของคุณ โดยแต่ละเส้นสอดคล้องกับสิ่งที่คุณรู้ GP จะวัดปริมาณว่าเส้นโค้งแต่ละเส้นมีความน่าจะเป็นเท่าใดก่อนและหลังจากการสังเกตข้อมูล เคอร์เนลจะกำหนดว่าเส้นโค้งใดดูเรียบหรือหยักศก ใกล้หรือไกล เมื่อข้อมูลมาถึง GP จะจำกัดขอบเขตของเส้นโค้งที่เป็นไปได้ให้อยู่รอบๆ ข้อมูลที่สังเกตได้ ในขณะที่ยังคงรักษาความไม่แน่นอนที่แท้จริงในบริเวณที่ข้อมูลเบาบาง สิ่งนี้ให้ทั้งการทำนายและแถบความเชื่อมั่น (confidence band) ที่สะท้อนอย่างแท้จริงว่ามีหลักฐานสนับสนุนการคาดการณ์มากน้อยเพียงใด

ประวัติศาสตร์

การใช้ Gaussian processes ในสถิติย้อนกลับไปถึง O'Hagan (1978) และ Kriging ใน geostatistics (Matheron, 1963) การยอมรับในแมชชีนเลิร์นนิงได้รับการกระตุ้นโดย Neal (1996) ซึ่งแสดงให้เห็นว่า deep networks ลู่เข้าสู่ GP ในขีดจำกัดของความกว้างอนันต์ และโดยหนังสือปี 2006 ของ Rasmussen และ Williams ซึ่งกลายเป็นเอกสารอ้างอิงมาตรฐาน ปัจจุบัน GP เป็นพื้นฐานของไปป์ไลน์ Bayesian optimisation ในการปรับจูนไฮเปอร์พารามิเตอร์และการออกแบบการทดลองในสาขาวิศวกรรมและวิทยาศาสตร์

ควรใช้เมื่อใด

ใช้ Bayesian GP เมื่อคุณต้องการความไม่แน่นอนที่สอบเทียบแล้วควบคู่ไปกับการทำนาย — ตัวอย่างเช่น ใน active learning, Bayesian optimisation, การใช้งานที่ต้องการความปลอดภัยสูง (safety-critical applications) หรือการอนุมานทางวิทยาศาสตร์ (scientific inference) ที่การรู้ว่าแบบจำลองไม่รู้อะไรมีความสำคัญพอๆ กับการทำนายเอง โมเดลนี้ทำงานได้ดีกับชุดข้อมูลขนาดเล็กถึงปานกลาง (สูงสุดสองสามพันรายการสังเกต) ที่มีอินพุตแบบต่อเนื่องหรือมีโครงสร้าง และฟังก์ชันพื้นฐานที่เรียบ ควรหลีกเลี่ยง GP เมื่อชุดข้อมูลมีขนาดเกินประมาณ 10,000 แถวโดยไม่มีวิธีการ GP แบบ sparse หรือ approximate, เมื่อปริภูมิอินพุตมีมิติสูง (สูงกว่า ~20 ฟีเจอร์) โดยไม่มีโครงสร้าง prior ที่แข็งแกร่ง หรือเมื่อต้องการเพียงตัวทำนายแบบจุดที่รวดเร็วและไม่เปิดเผย

ข้อจำกัดและข้อควรพิจารณา

  • ต้นทุนการคำนวณเป็นกำลังสาม O(n^3) ในการอนุมานแบบแม่นยำ จำกัดการใช้งานกับชุดข้อมูลสองสามพันรายการโดยไม่มีการประมาณค่าแบบ sparse
  • การเลือกเคอร์เนลมีอิทธิพลและต้องใช้ความเชี่ยวชาญเฉพาะทาง การระบุเคอร์เนลผิดจะทำให้ทั้งการทำนายและการประเมินความไม่แน่นอนแย่ลง
  • การอนุมานแบบปิดใช้ไม่ได้ผลกับฟังก์ชันความควรจะเป็นที่ไม่ใช่ Gaussian (classification, counts) ซึ่งต้องใช้การประมาณค่าที่เพิ่มความซับซ้อน
  • ปรับขนาดได้ไม่ดีกับปริภูมิอินพุตที่มีมิติสูงโดยไม่มีการลดมิติหรือเคอร์เนลที่มีโครงสร้าง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สร้างการแจกแจงการทำนายที่สอบเทียบอย่างสมบูรณ์ ไม่ใช่แค่การประมาณค่าแบบจุด
  • Posterior แบบปิดสำหรับการถดถอย — แม่นยำ ไม่ต้องสุ่มตัวอย่างสำหรับข้อมูลปานกลาง
  • การเลือกเคอร์เนลเข้ารหัสความรู้เฉพาะทางที่หลากหลายเกี่ยวกับความเรียบ ความเป็นคาบ และโครงสร้าง
  • Log marginal likelihood ให้การเรียนรู้ไฮเปอร์พารามิเตอร์อัตโนมัติและการเปรียบเทียบแบบจำลอง
  • รองรับ active learning และ Bayesian optimisation โดยธรรมชาติ โดยการวัดปริมาณว่าความไม่แน่นอนสูงสุดอยู่ที่ใด
  • ใช้ตัวอย่างข้อมูลน้อยแต่มีประสิทธิภาพ: ทำงานได้ดีกับชุดข้อมูลขนาดเล็กที่ deep learning ไม่สามารถสรุปผลได้

การประยุกต์ใช้

  • Bayesian optimisation สำหรับการปรับจูนไฮเปอร์พารามิเตอร์ การออกแบบการทดลอง และ AutoML
  • การสร้างแบบจำลองตัวแทน (Surrogate modelling) ในการจำลองทางวิศวกรรมและการทดลองคอมพิวเตอร์
  • การประมาณค่าเชิงพื้นที่และ geostatistics (Kriging)
  • การคาดการณ์อนุกรมเวลาพร้อมการวัดปริมาณความไม่แน่นอนที่มีหลักการ
  • Active learning: การเลือกการสังเกตการณ์ถัดไปที่มีข้อมูลมากที่สุดโดยพิจารณาจาก posterior variance
  • การอนุมานทางวิทยาศาสตร์ที่ต้องการการแพร่กระจายของความไม่แน่นอนควบคู่ไปกับการทำนาย

วิธีการทำงาน

วิธีการทำงาน

1

GP prior ถูกกำหนดโดยฟังก์ชันค่าเฉลี่ย (mean function) m(x) — ซึ่งมักจะตั้งค่าเป็นศูนย์ — และฟังก์ชันความแปรปรวนร่วม (covariance function) หรือเคอร์เนล k(x,x') ซึ่งเข้ารหัสว่าค่าเอาต์พุตที่อินพุตสองค่ามีความแปรปรวนร่วมกันอย่างไร ทั้งสองอย่างนี้ระบุการแจกแจงบนฟังก์ชันทั้งหมด ซึ่งโมเดลจะสุ่มตัวอย่างคำตอบที่เป็นไปได้ก่อนที่จะเห็นข้อมูลใดๆ

สูตร
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

เคอร์เนลคือทางเลือกหลักในการสร้างแบบจำลอง เคอร์เนลทั่วไป ได้แก่ squared-exponential (RBF), Matern, periodic และ linear kernels ซึ่งแต่ละตัวเข้ารหัสสมมติฐานที่แตกต่างกันเกี่ยวกับความเรียบ (smoothness), ความเป็นคาบ (periodicity) หรือแนวโน้ม (trend) ความรู้เฉพาะทาง (domain knowledge) ถูกนำมาใช้เพื่อเลือกหรือประกอบเคอร์เนลที่ตรงกับพฤติกรรมที่คาดหวังของฟังก์ชันเป้าหมาย

3

เมื่อพิจารณาข้อมูลการฝึก (X, y) กฎของเบย์จะถูกนำมาใช้ในรูปแบบปิด (closed form) สำหรับการถดถอย (regression) เพื่อให้ได้ posterior GP ค่าเฉลี่ยของ posterior (posterior mean) ให้การทำนายแบบจุดที่อินพุตใหม่ x* ใดๆ ในขณะที่ค่าความแปรปรวนของ posterior (posterior variance) วัดปริมาณความไม่แน่นอนที่เหลืออยู่ — ลดลงใกล้กับข้อมูลที่สังเกตได้และกว้างขึ้นในบริเวณที่ยังไม่ได้สำรวจ

สูตร
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

ไฮเปอร์พารามิเตอร์ของเคอร์เนล (length-scales, output variance, noise level) จะถูกเรียนรู้โดยการหาค่าสูงสุดของ log marginal likelihood ซึ่งจะปรับสมดุลระหว่างความพอดีของข้อมูลกับความซับซ้อนของแบบจำลองโดยอัตโนมัติ หลักการ Ockham's razor ที่มีมาในตัวนี้ช่วยหลีกเลี่ยงการใช้ cross-validation แยกต่างหากสำหรับการเลือกไฮเปอร์พารามิเตอร์ในหลายกรณี

สูตร
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

การแจกแจงการทำนายสุดท้ายที่จุดใหม่จะเป็นแบบ Gaussian สำหรับการถดถอย โดยให้ค่าเฉลี่ยและค่าความแปรปรวน สำหรับการจำแนกประเภท (classification) จะต้องมีขั้นตอนการประมาณค่าเพิ่มเติม (Laplace, expectation propagation หรือ variational inference) เพื่อแปลง GP ที่ซ่อนอยู่ (latent GP) ให้เป็นความน่าจะเป็นของคลาส

ข้อผิดพลาดที่พบบ่อย

  • การใช้ RBF kernel เริ่มต้นโดยไม่ได้พิจารณาว่าข้อมูลมีความเรียบและคงที่จริงหรือไม่
  • การละเลย posterior predictive variance และรายงานเฉพาะค่าเฉลี่ย ซึ่งเป็นการทิ้งข้อได้เปรียบหลักของแบบจำลองไป
  • การใช้การอนุมาน GP แบบแม่นยำกับชุดข้อมูลขนาดใหญ่ (n > 10,000) โดยไม่มีการประมาณค่าแบบ sparse หรือ inducing-point ซึ่งทำให้เกิดปัญหาหน่วยความจำและความเร็ว
  • การสับสนระหว่างการปรับไฮเปอร์พารามิเตอร์ GP (marginal likelihood) กับการอนุมานแบบเบย์เต็มรูปแบบบนไฮเปอร์พารามิเตอร์ — อย่างหลังต้องใช้ MCMC และไม่ค่อยได้ทำในทางปฏิบัติ
  • การปฏิบัติต่อผลลัพธ์ GP สำหรับการจำแนกประเภทราวกับว่า posterior ที่ซ่อนอยู่แม่นยำ โดยไม่ได้คำนึงถึงข้อผิดพลาดในการประมาณค่าสำหรับฟังก์ชันความควรจะเป็นที่ไม่ใช่ Gaussian

คำถามที่พบบ่อย

Gaussian process มีลักษณะเป็น Bayesian โดยเนื้อแท้หรือไม่?

ใช่ GP กำหนด prior บนฟังก์ชัน และการกำหนดเงื่อนไขด้วยข้อมูลจะให้ posterior ผ่านกฎของเบย์ การแจกแจงการทำนายคือการหาค่าเฉลี่ยของฟังก์ชันที่เป็นไปได้ทั้งหมด โดยถ่วงน้ำหนักด้วยความน่าจะเป็นของ posterior ซึ่งเป็นคุณสมบัติที่กำหนดของการอนุมานแบบเบย์

ฉันจะเลือกเคอร์เนลได้อย่างไร?

เริ่มต้นด้วยการถามว่าฟังก์ชันที่คาดหวังนั้นเรียบ (RBF/squared-exponential), เป็นคาบ (periodic kernel) หรือไม่สม่ำเสมอเป็นช่วงๆ (Matern 3/2 หรือ 5/2) หรือไม่ เคอร์เนลสามารถรวมกันได้ทั้งแบบบวกหรือคูณเพื่อจับโครงสร้างที่ซับซ้อน ตรวจสอบทางเลือกโดยใช้ log marginal likelihood

ฉันสามารถใช้ GP กับข้อมูลหลายพันจุดได้หรือไม่?

การอนุมาน GP แบบแม่นยำมีต้นทุน O(n^3) ซึ่งใช้งานได้ถึงสองสามพันจุดบนฮาร์ดแวร์สมัยใหม่ สำหรับชุดข้อมูลที่ใหญ่ขึ้น ให้ใช้การประมาณค่า GP แบบ sparse (เช่น วิธี inducing-point เช่น FITC หรือ VFE) หรือ stochastic variational GPs ซึ่งปรับขนาดได้ถึงหลักล้านรายการสังเกต

อะไรคือความแตกต่างระหว่าง GP regression และ GP classification?

GP regression ใช้ Gaussian likelihood ดังนั้น posterior จึงเป็น Gaussian และสามารถคำนวณได้ในรูปแบบปิด GP classification ใช้ Bernoulli (หรือ softmax) likelihood ซึ่งไม่ใช่ Gaussian ดังนั้น posterior จึงต้องประมาณค่า — โดยทั่วไปใช้ Laplace approximation หรือ expectation propagation

GP เปรียบเทียบกับ neural network อย่างไร?

GP เหมาะสมกว่าสำหรับข้อมูลขนาดเล็ก ให้ความไม่แน่นอนที่สอบเทียบได้ทันที และสามารถตีความได้ผ่านเคอร์เนล Neural networks ครองตลาดในข้อมูลขนาดใหญ่ที่มีมิติสูง Neural networks ที่มีความกว้างอนันต์พร้อม activation บางประเภทมีความเท่าเทียมกันทางคณิตศาสตร์กับ GP ซึ่งเผยให้เห็นความเชื่อมโยงทางทฤษฎีที่ลึกซึ้งระหว่างทั้งสอง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    คัดลอกแล้ว
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    ISBN: 978-0-387-31073-2
    คัดลอกแล้ว