Skip to content
กลับไปยังผลการค้นหา

กระบวนการเกาส์เซียน

ผู้เสนอ
Rasmussen, C. E. & Williams, C. K. I.
ปี
2006 (book); roots in Kriging, 1951)
ประเภท
Probabilistic non-parametric model
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

กระบวนการเกาส์เซียน (Gaussian Process - GP) เป็นแบบจำลองการเรียนรู้ของเครื่องแบบไม่ใช้พารามิเตอร์ (non-parametric) ที่มีความน่าจะเป็นสมบูรณ์ (fully probabilistic) ซึ่งกำหนดการแจกแจงก่อน (prior distribution) โดยตรงบนฟังก์ชัน แทนที่จะทำนายค่าเดียว GP จะให้ค่าเฉลี่ยของการทำนาย (predictive mean) และการประมาณค่าความไม่แน่นอนที่ปรับเทียบแล้ว (calibrated uncertainty estimate) ณ จุดทดสอบแต่ละจุด ทำให้มีคุณค่าอย่างยิ่งสำหรับการถดถอยบนชุดข้อมูลขนาดเล็กถึงปานกลาง และสำหรับงานการหาค่าที่เหมาะสมที่สุดแบบเบย์ (Bayesian optimization)

แนวคิดเบื้องหลังวิธีการ

แทนที่จะปรับเส้นโค้งที่ตายตัวให้เข้ากับข้อมูลของคุณ กระบวนการเกาส์เซียนจะรักษาการแจกแจงทั้งหมดของเส้นโค้งที่เป็นไปได้ซึ่งสอดคล้องกับสิ่งที่คุณสังเกตเห็น ก่อนที่จะเห็นข้อมูล GP จะสมมติว่าฟังก์ชันควรจะเรียบ (smooth) (ตามที่กำหนดโดยเคอร์เนล) หลังจากเห็นข้อมูลแล้ว GP จะจำกัดการแจกแจงนั้นให้แคบลง: จุดทดสอบที่อยู่ใกล้เคียงจะได้รับการทำนายที่แม่นยำและมั่นใจ ในขณะที่บริเวณที่ห่างไกลหรือมีข้อมูลเบาบางจะให้แถบความไม่แน่นอนที่กว้าง การวัดปริมาณความไม่แน่นอนในตัวนี้คือสิ่งที่ทำให้ GP แตกต่างจากแบบจำลองส่วนใหญ่

ประวัติศาสตร์

กระบวนการเกาส์เซียนมีรากฐานมาจาก Kriging ซึ่งพัฒนาโดย Danie Krige ในสาขาธรณีสถิติ (geostatistics) ในทศวรรษ 1950 และทำให้เป็นรูปธรรมโดย Georges Matheron การนำไปใช้ในการเรียนรู้ของเครื่องส่วนใหญ่ขับเคลื่อนโดย Carl Rasmussen และ Christopher Williams ซึ่งหนังสือของพวกเขาในปี 2006 จาก MIT Press กลายเป็นแหล่งอ้างอิงที่สมบูรณ์แบบ โดยกำหนดให้ GP เป็นทางเลือกแบบไม่ใช้พารามิเตอร์แบบเบย์ที่มีหลักการ แทนที่โครงข่ายประสาทเทียม (neural networks) และ SVM แบบเคอร์เนล (kernel SVMs) โดยเฉพาะอย่างยิ่งสำหรับสถานการณ์ที่การวัดปริมาณความไม่แน่นอนเป็นสิ่งจำเป็น

ควรใช้เมื่อใด

กระบวนการเกาส์เซียนมีความโดดเด่นบนชุดข้อมูลขนาดเล็กถึงปานกลาง (สูงสุดสองสามพันแถว) ที่การวัดปริมาณความไม่แน่นอนมีความสำคัญ — ตัวอย่างเช่น การทดลองทางวิทยาศาสตร์ การออกแบบทางวิศวกรรม หรือการสร้างแบบจำลองตัวแทน (surrogate modelling) สำหรับการจำลองที่มีค่าใช้จ่ายสูง เป็นวิธีการที่เลือกสำหรับ Bayesian optimization ควรเลือก GP แทนแบบจำลองที่ง่ายกว่าเมื่อคุณต้องการช่วงการทำนายที่ปรับเทียบได้ แทนที่จะเป็นเพียงค่าประมาณจุด และเมื่อความสัมพันธ์ระหว่างอินพุตและเอาต์พุตคาดว่าจะเรียบ ควรหลีกเลี่ยง GP เมื่อ n เกินประมาณ 10,000 การสังเกต เนื่องจาก inference แบบแม่นตรง (exact inference) มีสเกลเป็น O(n^3) ทำให้ไม่สามารถคำนวณได้จริงหากไม่มีการประมาณค่า GP ยังมีปัญหาในปริภูมิอินพุตที่มีมิติสูงมาก และกับฟังก์ชันที่ไม่ต่อเนื่องหรือไม่คงที่ (non-stationary) อย่างมาก เว้นแต่จะใช้เคอร์เนลที่ปรับแต่งอย่างระมัดระวัง

ข้อจำกัดและข้อควรพิจารณา

  • การอนุมานแบบแม่นตรงมีค่าใช้จ่าย O(n^3) ในด้านเวลา และ O(n^2) ในด้านหน่วยความจำ ทำให้ไม่สามารถใช้งานได้จริงสำหรับ n ขนาดใหญ่หากไม่มีวิธีการ GP แบบเบาบาง (sparse) หรือแบบประมาณ (approximate)
  • ประสิทธิภาพลดลงในปริภูมิอินพุตที่มีมิติสูงมากเนื่องจากการสาปของมิติ (curse of dimensionality) ในระยะห่างของเคอร์เนล
  • การเลือกและการรวมเคอร์เนลต้องใช้ความรู้เฉพาะทาง การเลือกเคอร์เนลที่ไม่ดีนำไปสู่การสอบเทียบความไม่แน่นอนที่ไม่ดี
  • การจำแนกประเภท (GP classifiers) ต้องใช้การประมาณค่าแบบ Laplace หรือ expectation-propagation เพิ่มเติม ซึ่งเพิ่มความซับซ้อน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ส่งคืนช่วงความไม่แน่นอนของการทำนายที่ปรับเทียบแล้วพร้อมกับการทำนายค่าจุด
  • มีประสิทธิภาพในการใช้ตัวอย่างสูงมาก — ทำงานได้ดีบนชุดข้อมูลขนาดเล็กที่แบบจำลองแบบต้นไม้ (tree-based models) เกิดการปรับให้เหมาะสมมากเกินไป (overfit)
  • การเลือกและการรวมเคอร์เนลสามารถเข้ารหัสความรู้เฉพาะทางเกี่ยวกับความเรียบ ความเป็นคาบ (periodicity) หรือมาตราส่วนได้อย่างยืดหยุ่น
  • ไฮเปอร์พารามิเตอร์จะถูกเรียนรู้จากข้อมูลผ่าน marginal likelihood ซึ่งให้การปรับให้เหมาะสมโดยอัตโนมัติ
  • กรอบงานพื้นฐานสำหรับ Bayesian optimization และการออกแบบการทดลองแบบเรียนรู้เชิงรุก (active learning)

การประยุกต์ใช้

  • การถดถอยบนชุดข้อมูลทางวิทยาศาสตร์และวิศวกรรมขนาดเล็กถึงปานกลางที่ต้องการช่วงความเชื่อมั่นที่ปรับเทียบได้
  • Bayesian optimization ของฟังก์ชันกล่องดำที่มีค่าใช้จ่ายสูง เช่น การปรับจูนไฮเปอร์พารามิเตอร์ หรือการออกแบบการทดลอง
  • การสร้างแบบจำลองตัวแทน (Surrogate modelling) สำหรับการจำลองด้วยคอมพิวเตอร์ที่มีค่าใช้จ่ายสูงในสาขาสหการบิน (aerospace) วัสดุศาสตร์ และแบบจำลองสภาพภูมิอากาศ
  • การประมาณค่าเชิงพื้นที่-เวลา (Spatio-temporal interpolation) และการทำแผนที่ทางธรณีสถิติ (Kriging)
  • การเรียนรู้เชิงรุก (Active learning): ใช้ความแปรปรวนภายหลังเพื่อเลือกการวัดครั้งต่อไปที่มีข้อมูลมากที่สุด
  • การสร้างแบบจำลองอนุกรมเวลาด้วยเคอร์เนลที่เป็นคาบหรือแบบผสมที่เข้ารหัสโครงสร้างตามฤดูกาล

วิธีการทำงาน

วิธีการทำงาน

1

ฟังก์ชันเคอร์เนล (kernel function) (โดยทั่วไปคือ squared-exponential / RBF) เข้ารหัสความเชื่อก่อน (prior beliefs) เกี่ยวกับความเรียบของฟังก์ชันและมาตราส่วนความยาว (length scale) มันวัดความคล้ายคลึงกันระหว่างจุดข้อมูลอินพุตสองจุดใดๆ: อินพุตที่คล้ายกันควรให้เอาต์พุตที่คล้ายกัน การเลือกรูปร่างของเคอร์เนลมีอิทธิพลอย่างมากต่อประเภทของฟังก์ชันที่ GP สามารถแสดงได้

สูตร
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

ก่อนที่จะสังเกตข้อมูลใดๆ GP จะกำหนดการแจกแจงก่อนบนฟังก์ชัน: การรวบรวมค่าฟังก์ชันที่มีขอบเขตจำกัดใดๆ จะเป็นการแจกแจงแบบเกาส์เซียนร่วม (jointly Gaussian) โดยมีฟังก์ชันค่าเฉลี่ย m(x) และความแปรปรวนร่วม (covariance) ที่กำหนดโดยเคอร์เนล การแจกแจงก่อนนี้คือความเชื่อเริ่มต้นเกี่ยวกับพฤติกรรมของฟังก์ชันที่ไม่ทราบค่า

สูตร
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

การปรับเงื่อนไขของการแจกแจงก่อนด้วยข้อมูลการฝึกที่สังเกตได้จะให้การแจกแจงภายหลัง (posterior distribution) ซึ่งก็คือการแจกแจงแบบเกาส์เซียนเช่นกัน ค่าเฉลี่ยภายหลังจะกลายเป็นค่าทำนาย ณ อินพุตใหม่ x* ใดๆ และความแปรปรวนภายหลังจะให้ช่วงความเชื่อมั่นที่ปรับเทียบแล้ว ซึ่งจะแคบลงโดยอัตโนมัติในบริเวณที่มีข้อมูลการฝึกหนาแน่น

สูตร
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

ไฮเปอร์พารามิเตอร์ของเคอร์เนล (length scale, output variance, noise level) จะถูกประมาณค่าโดยการหาค่าสูงสุดของ log marginal likelihood ของข้อมูลการฝึก การหาค่าที่เหมาะสมที่สุดนี้จะสร้างสมดุลระหว่างความเหมาะสมของข้อมูลกับความซับซ้อนของแบบจำลอง ซึ่งทำการปรับให้เหมาะสมโดยอัตโนมัติ (regularisation) โดยไม่ต้องใช้พจน์การลงโทษแยกต่างหาก

สูตร
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

เมื่อถึงเวลาทำนาย ค่าเฉลี่ยภายหลังจะถูกส่งคืนเป็นค่าประมาณจุด (point estimate) และค่าเบี่ยงเบนมาตรฐานภายหลัง (posterior standard deviation) เป็นแถบความไม่แน่นอน ทั้งสองค่าสามารถนำไปใช้ได้โดยตรง: รายงานค่าเฉลี่ยสำหรับการคาดเดาที่ดีที่สุด และช่วงเพื่อสื่อสารว่าแบบจำลองมีความมั่นใจเพียงใด ณ ตำแหน่งอินพุตใหม่แต่ละตำแหน่ง

ข้อผิดพลาดที่พบบ่อย

  • การใช้เคอร์เนล RBF เริ่มต้นโดยไม่ตรวจสอบว่าฟังก์ชันมีความคงที่และเรียบจริงหรือไม่ — รูปแบบที่เป็นคาบหรือไม่ต่อเนื่องต้องการเคอร์เนลที่แตกต่างกัน
  • การลืมปรับมาตรฐานอินพุตและเอาต์พุตแบบต่อเนื่องก่อนทำการปรับ ซึ่งนำไปสู่เมทริกซ์ความแปรปรวนร่วมที่ปรับเงื่อนไขไม่ดี (ill-conditioned)
  • การปฏิบัติต่อค่าเฉลี่ยภายหลังเพียงอย่างเดียวว่าเป็นผลลัพธ์และเพิกเฉยต่อแถบความไม่แน่นอน ซึ่งเป็นส่วนสำคัญของแบบจำลอง
  • การใช้ GP แบบแม่นตรงกับชุดข้อมูลที่มี n เกินประมาณ 5,000 โดยไม่เปลี่ยนไปใช้วิธีการประมาณแบบเบาบางหรือจุดเหนี่ยวนำ (inducing-point approximation)
  • การผสมผสานระหว่างสัญญาณรบกวนแบบสุ่ม (aleatoric noise - ข้อผิดพลาดในการวัดที่ลดไม่ได้) กับความไม่แน่นอนเชิงญาณ (epistemic uncertainty - ความไม่แน่นอนของแบบจำลอง) เมื่อตีความผลลัพธ์ความแปรปรวน

คำถามที่พบบ่อย

ควรเริ่มต้นด้วยเคอร์เนลแบบใด?

เคอร์เนล squared-exponential (RBF) เป็นจุดเริ่มต้นเริ่มต้น เนื่องจากให้ฟังก์ชันที่เรียบและหาอนุพันธ์ได้ไม่จำกัด และมีไฮเปอร์พารามิเตอร์ length-scale และ output-variance ที่ตีความได้ ควรเปลี่ยนไปใช้เคอร์เนล Matern หากคาดว่าฟังก์ชันจะมีความเรียบน้อยลง หรือเพิ่มส่วนประกอบที่เป็นคาบสำหรับข้อมูลตามฤดูกาล

ชุดข้อมูลของฉันมี 50,000 แถว ฉันยังสามารถใช้ GP ได้หรือไม่?

การอนุมาน GP แบบแม่นตรงจะมีค่าใช้จ่ายสูงเกินไปในสเกลนั้น พิจารณาใช้วิธีการ GP แบบเบาบาง (เช่น inducing points / FITC) หรือ stochastic variational GP ซึ่งทั้งสองวิธีช่วยลดต้นทุนการฝึกอบรมลงเหลือประมาณ O(nm^2) โดยที่ m คือจำนวนจุดเหนี่ยวนำ (m << n) ไลบรารี เช่น GPyTorch นำวิธีการเหล่านี้ไปใช้อย่างมีประสิทธิภาพ

GP แตกต่างจาก Bayesian linear regression อย่างไร?

Bayesian linear regression กำหนดการแจกแจงก่อนบนชุดสัมประสิทธิ์ที่มีจำนวนจำกัดและคงที่ ดังนั้นความยืดหยุ่นของแบบจำลองจึงถูกจำกัดโดยฟังก์ชันฐานที่เลือก GP กำหนดการแจกแจงก่อนโดยตรงบนฟังก์ชันในปริภูมิอนันต์มิติ ดังนั้นความซับซ้อนที่มีประสิทธิภาพจึงปรับให้เข้ากับข้อมูลโดยไม่ต้องกำหนดการขยายฐานล่วงหน้า

การประมาณค่าความไม่แน่นอนนั้นปรับเทียบได้อย่างแท้จริงหรือไม่?

ภายใต้แบบจำลองและเคอร์เนลที่ถูกต้อง ความไม่แน่นอนภายหลังของ GP จะได้รับการปรับเทียบอย่างดีตามการสร้าง แบบจำลองที่ไม่ถูกต้องอาจเกิดขึ้นจากการระบุเคอร์เนลผิดพลาด หรือการเพิกเฉยต่อโครงสร้างสัญญาณรบกวน ควรทำการตรวจสอบการทำนายภายหลังเสมอ — พล็อตค่าที่สังเกตได้เทียบกับค่าที่ทำนายพร้อมกับการครอบคลุมของช่วงความเชื่อมั่น (credible intervals)

กระบวนการเกาส์เซียนสามารถจัดการกับอินพุตประเภทหมวดหมู่ (categorical) หรือประเภทผสม (mixed-type) ได้หรือไม่?

เคอร์เนล GP มาตรฐานทำงานบนอินพุตแบบต่อเนื่อง อินพุตประเภทหมวดหมู่ต้องการเคอร์เนลพิเศษ (เช่น เคอร์เนลระยะทาง Hamming) หรือการเข้ารหัส สำหรับข้อมูลผสมที่มีประเภทหมวดหมู่เป็นส่วนใหญ่ หรือมีมิติสูงมาก แบบจำลองแบบต้นไม้ เช่น Random Forest หรือ gradient boosting มักจะเป็นจุดเริ่มต้นที่ดีกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    ISBN: 978-0-262-18253-9
    คัดลอกแล้ว
  2. Gaussian process. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว