Gaussian Process แบบกึ่งกำกับดูแล
- ผู้เสนอ
- Lawrence, N. D. & Jordan, M. I.
- ปี
- 2004
- ประเภท
- Probabilistic model (semi-supervised)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Gaussian Process แบบกึ่งกำกับดูแล (Semi-supervised Gaussian Process) เป็นการขยายกรอบการทำงานแบบความน่าจะเป็นของ GP เพื่อใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับ (unlabeled data) ควบคู่ไปกับชุดข้อมูลที่มีป้ายกำกับ (labeled observations) จำนวนเล็กน้อย โดยการกำหนดค่าก่อน (prior) แบบ GP บนฟังก์ชัน และใช้ประโยชน์จากโครงสร้างเชิงเรขาคณิตที่เปิดเผยโดยข้อมูลนำเข้าที่ไม่มีป้ายกำกับ ทำให้สามารถเรียนรู้ตัวทำนายที่แม่นยำและมีการสอบเทียบ (calibrated) ได้ดีกว่า GP แบบกำกับดูแลเพียงอย่างเดียวเมื่อป้ายกำกับมีจำกัด ทำให้เหมาะสมกับปัญหาทางวิทยาศาสตร์และการแพทย์ที่การติดป้ายกำกับมีค่าใช้จ่ายสูง
แนวคิดเบื้องหลังวิธีการ
Gaussian Process มาตรฐานกำหนดการแจกแจงบนฟังก์ชันที่เรียบ และปรับเงื่อนไขตามจุดข้อมูลฝึกสอนที่มีป้ายกำกับเพื่อสร้างการทำนาย เมื่อป้ายกำกับมีน้อย การแจกแจงภายหลัง (posterior) ที่ปรับเงื่อนไขนี้จะมีความไม่แน่นอนสูงในบริเวณที่ข้อมูลเบาบาง Semi-supervised GP แก้ปัญหานี้โดยใช้ข้อมูลนำเข้าที่ไม่มีป้ายกำกับเพื่อเปิดเผยโครงสร้างความหนาแน่นหรือโครงสร้างแมนิโฟลด์ (manifold) ที่ซ่อนอยู่ของปริภูมิข้อมูลนำเข้า เคอร์เนล (kernel) ซึ่งเข้ารหัสความคล้ายคลึงกัน สามารถถูกปรับรูปร่างโดยจุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก ดังนั้นแบบจำลองจึงเรียนรู้ว่าข้อมูลอยู่ที่ใดก่อนที่จะเห็นป้ายกำกับใดๆ สิ่งนี้ช่วยลดความไม่แน่นอนของการแจกแจงภายหลังและปรับปรุงการสรุปผล (generalization) จากตัวอย่างที่มีป้ายกำกับน้อย
ประวัติศาสตร์
กรอบการทำงานของ semi-supervised GP ได้รับการนำเสนออย่างเป็นทางการโดย Lawrence และ Jordan ที่ NeurIPS 2004 โดยต่อยอดจากหนังสือพื้นฐาน GP for machine learning ของ Rasmussen และ Williams (หนังสือปี 2006, ต้นฉบับก่อนหน้านี้เผยแพร่ตั้งแต่ปี 1996) แนวทางนี้ผสมผสานแนวคิดจากการทำให้เรียบแบบแมนิโฟลด์ (manifold regularization) กราฟลาปลาเซียน (graph Laplacians) และอนุกรมอนันต์แบบเบย์เซียน (Bayesian non-parametrics) และมีอิทธิพลต่องานวิจัยในภายหลังเกี่ยวกับ GP แบบเบาบาง (sparse GPs) การเรียนรู้เคอร์เนลเชิงลึก (deep kernel learning) และโครงข่ายประสาทเทียมแบบกราฟที่มีผลลัพธ์แบบความน่าจะเป็น (graph neural networks with probabilistic outputs)
ควรใช้เมื่อใด
ควรใช้ Gaussian Process แบบกึ่งกำกับดูแลเมื่อข้อมูลที่มีป้ายกำกับมีจำกัด แต่ข้อมูลที่ไม่มีป้ายกำกับมีจำนวนมาก คุณต้องการการประมาณค่าความไม่แน่นอนที่สอบเทียบได้ควบคู่ไปกับการทำนาย และปริภูมิข้อมูลนำเข้ามีโครงสร้างเชิงเรขาคณิตที่เรียบซึ่งจุดข้อมูลที่ไม่มีป้ายกำกับสามารถให้ความกระจ่างได้ วิธีนี้จะโดดเด่นในสาขาวิทยาศาสตร์ชีวภาพ การแพทย์ และฟิสิกส์ ซึ่งการติดป้ายกำกับมีค่าใช้จ่ายสูง หลีกเลี่ยงเมื่อชุดข้อมูลมีขนาดใหญ่ (ข้อมูลที่มีป้ายกำกับหลายพันรายการ) เนื่องจากกระบวนการอนุมานของ GP มีสเกลเป็น O(n^3) ตามจำนวนจุดข้อมูลที่มีป้ายกำกับ และกลายเป็นเรื่องที่ต้องใช้ทรัพยากรในการคำนวณมากเกินไป นอกจากนี้ควรหลีกเลี่ยงเมื่อมิติข้อมูลนำเข้าสูงมาก (มากกว่า ~50 ฟีเจอร์) หากไม่มีการปรับแต่งเคอร์เนลอย่างระมัดระวัง หรือเมื่อสัมประสิทธิ์ที่ตีความได้ (interpretable coefficients) มากกว่าการทำนายแบบความน่าจะเป็นเป็นผลลัพธ์หลัก
ข้อจำกัดและข้อควรพิจารณา
- การปรับสเกลแบบลูกบาศก์ O(n^3) ตามจำนวนจุดข้อมูลที่มีป้ายกำกับ ทำให้ไม่สามารถใช้งานได้จริงเกินกว่าสองสามพันรายการสังเกตการณ์หากไม่มีการประมาณค่าแบบเบาบาง (sparse approximations)
- การอนุมานโดยประมาณ (Laplace, EP) จำเป็นสำหรับฟังก์ชันความควรจะเป็นที่ไม่ใช่แบบปกติ เช่น การจำแนกประเภท ซึ่งนำไปสู่ข้อผิดพลาดจากการประมาณค่า
- ประสิทธิภาพขึ้นอยู่กับการเลือกเคอร์เนลอย่างมาก และสมมติฐานที่ว่าจุดข้อมูลที่ไม่มีป้ายกำกับแสดงถึงแมนิโฟลด์ข้อมูลนำเข้าอย่างถูกต้อง
- การปรับแต่งไฮเปอร์พารามิเตอร์ที่ต้องใช้ทรัพยากรในการคำนวณมากอาจใช้เวลานาน และอาจลู่เข้าสู่ค่าเหมาะสมเฉพาะที่ (local optima) ที่ไม่ดีในมิติสูง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- สร้างการแจกแจงการทำนายแบบเต็ม ให้ความไม่แน่นอนที่สอบเทียบได้ควบคู่ไปกับการทำนายแต่ละครั้ง
- ข้อมูลที่ไม่มีป้ายกำกับสามารถปรับปรุงความแม่นยำได้อย่างมากเมื่อป้ายกำกับมีน้อย ทำให้งบประมาณการติดป้ายกำกับมีประสิทธิภาพมากขึ้น
- ความยืดหยุ่นของเคอร์เนลช่วยให้สามารถเข้ารหัสความรู้เฉพาะทางเกี่ยวกับความเรียบ ความเป็นคาบ (periodicity) หรือเรขาคณิตของข้อมูลนำเข้า
- กรอบการทำงานแบบเบย์เซียนที่มีหลักการรองรับการเลือกไฮเปอร์พารามิเตอร์ (hyperparameter) ผ่านการหาค่าสูงสุดของความน่าจะเป็นตามขอบเขต (marginal likelihood maximization)
- จัดการกับงานการทำนายแบบหลายผลลัพธ์ (multi-output) และแบบมีโครงสร้าง (structured prediction) ได้ตามธรรมชาติผ่านส่วนขยายของ GP แบบหลายผลลัพธ์
การประยุกต์ใช้
- การทำนายฤทธิ์ของยาจากตัวอธิบายโมเลกุล (molecular descriptors) ด้วยสารประกอบที่มีป้ายกำกับจากการทดสอบน้อย
- การจำแนกประเภทภาพทางการแพทย์ซึ่งมีการติดป้ายกำกับโดยผู้เชี่ยวชาญจำกัด แต่มีภาพสแกนดิบจำนวนมาก
- การสร้างแบบจำลองเซ็นเซอร์สิ่งแวดล้อมโดยใช้การอ่านค่าที่สอบเทียบได้น้อยและข้อมูลการวัดที่ไม่สอบเทียบจำนวนมาก
- การจำแนกประเภทการแสดงออกของยีน (gene expression) ด้วยป้ายกำกับฟีโนไทป์ (phenotype labels) ที่จำกัด แต่มีชุดข้อมูลทรานสคริปโตมิก (transcriptomic datasets) ขนาดใหญ่
- การทำนายคุณสมบัติของวัสดุในสาขาเคมีและฟิสิกส์ ซึ่งการวัดผลจากการทดลองที่มีป้ายกำกับมีค่าใช้จ่ายสูง
วิธีการทำงาน
วิธีการทำงาน
ฟังก์ชันเคอร์เนล k(x_i, x_j) เข้ารหัสความเชื่อก่อนเกี่ยวกับความเรียบ (smoothness) และสเกล (scale) ของฟังก์ชันเป้าหมาย สำหรับการตั้งค่าแบบกึ่งกำกับดูแล เคอร์เนลที่ปรับตามแมนิโฟลด์ (manifold-adapted kernels) หรือเคอร์เนลแบบกราฟ (graph-based kernels) จะถูกสร้างขึ้นจากข้อมูลนำเข้าทั้งหมดที่มีอยู่ ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ เพื่อให้เมตริกความคล้ายคลึงกันสะท้อนถึงเรขาคณิตของข้อมูลที่แท้จริง แทนที่จะเป็นระยะทางแบบยุคลิด (Euclidean distance) ดิบ
สูตร
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)การกำหนดค่าก่อน GP ที่มีค่าเฉลี่ยเป็นศูนย์ f ~ GP(0, k) จะถูกกำหนดบนฟังก์ชันแฝง (latent function) เนื่องจากเคอร์เนลถูกประมาณค่าจากชุดข้อมูลที่ไม่มีป้ายกำกับทั้งหมด ค่าก่อนนี้จึงเข้ารหัสโครงสร้างเชิงเรขาคณิตของแมนิโฟลด์ข้อมูลนำเข้าแล้ว ก่อนที่จะมีการรวมป้ายกำกับใดๆ
สูตร
f \sim \mathcal{GP}(0, k)จุดข้อมูลที่ไม่มีป้ายกำกับจะถูกรวมเข้ากับแบบจำลอง โดยการสร้างตัวปรับทำให้เรียบแบบกราฟลาปลาเซียน (graph Laplacian regularizer) บนข้อมูลนำเข้าทั้งหมด หรือโดยการปฏิบัติต่อค่าฟังก์ชันแฝง ณ ตำแหน่งที่ไม่มีป้ายกำกับเป็นตัวแปรเสริม (auxiliary variables) ที่จะถูกหาปริพันธ์ออก (marginalized out) ในระหว่างการอนุมาน (inference) ทั้งสองแนวทางช่วยให้ชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมากสามารถจำกัดและทำให้การแจกแจงภายหลังมีความเสถียร
การปรับเงื่อนไขตามการสังเกตที่มีป้ายกำกับจะอัปเดตค่าก่อน GP ให้เป็นการแจกแจงภายหลังบนฟังก์ชัน ในการตั้งค่าการจำแนกประเภท (classification) สิ่งนี้เกี่ยวข้องกับการอนุมานโดยประมาณ (approximate inference) เช่น การประมาณค่าแบบลาปลาซ (Laplace approximation) หรือการแพร่กระจายความคาดหวัง (expectation propagation) เนื่องจากฟังก์ชันความควรจะเป็น (likelihood) แบบปกติ (Gaussian) ถูกแทนที่ด้วยแบบจำลองการสังเกตที่ไม่ใช่แบบปกติ (non-Gaussian)
สูตร
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
สำหรับการป้อนข้อมูลใหม่ x* ใดๆ การแจกแจงการทำนายภายหลังจะถูกคำนวณโดยวิเคราะห์ (regression) หรือโดยการประมาณค่า (classification) ผลลัพธ์คือการแจกแจงการทำนายแบบเต็ม — ค่าเฉลี่ยและความแปรปรวน — ซึ่งไม่เพียงแต่ให้ค่าประมาณแบบจุด (point estimate) เท่านั้น แต่ยังให้ความไม่แน่นอนที่สอบเทียบได้ (calibrated uncertainty) ซึ่งจำเป็นในโดเมนทางวิทยาศาสตร์ที่มีป้ายกำกับน้อย
สูตร
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]ข้อผิดพลาดที่พบบ่อย
- การละเลยต้นทุน O(n^3) และพยายามปรับ GP แบบหนาแน่น (dense GP) กับข้อมูลหลายพันรายการโดยไม่มีการประมาณค่าจุดเหนี่ยวนำแบบเบาบาง (sparse inducing-point approximations)
- การใช้เคอร์เนลระยะทางแบบยุคลิดมาตรฐานโดยไม่ปรับให้เข้ากับแมนิโฟลด์ข้อมูล ซึ่งทำให้ชุดข้อมูลที่ไม่มีป้ายกำกับสูญเปล่า
- การปฏิบัติต่อค่าเฉลี่ยของการแจกแจงภายหลังเป็นค่าทำนายที่แน่นอน (hard prediction) และทิ้งการประมาณค่าความไม่แน่นอน ซึ่งเป็นข้อได้เปรียบหลักเหนือวิธีการจำแนกประเภท (discriminative methods)
- การไม่ตรวจสอบความถูกต้องบนชุดข้อมูลที่มีป้ายกำกับที่ถูกแยกออก (held-out set) เนื่องจากข้อมูลที่ไม่มีป้ายกำกับอาจนำไปสู่การเปลี่ยนแปลงการแจกแจงที่ละเอียดอ่อนหากไม่ตรงกับโดเมนทดสอบ
- การใช้วิธีการเมื่ออัตราส่วนข้อมูลที่มีป้ายกำกับต่อข้อมูลที่ไม่มีป้ายกำกับสูงอยู่แล้ว ซึ่งความซับซ้อนที่เพิ่มขึ้นให้ประโยชน์เพียงเล็กน้อยเมื่อเทียบกับ GP แบบกำกับดูแล
คำถามที่พบบ่อย
วิธีนี้แตกต่างจาก Gaussian Process แบบกำกับดูแลมาตรฐานอย่างไร
GP แบบกำกับดูแลจะปรับเงื่อนไขตามข้อมูลที่มีป้ายกำกับเท่านั้น และไม่สนใจข้อมูลนำเข้าที่ไม่มีป้ายกำกับ ส่วนแบบกึ่งกำกับดูแลจะใช้ข้อมูลนำเข้าที่ไม่มีป้ายกำกับเพื่อปรับรูปร่างเคอร์เนลหรือจำกัดค่าก่อนของฟังก์ชันก่อนที่จะปรับเงื่อนไขตามป้ายกำกับ ดังนั้นจึงใช้ประโยชน์จากแมนิโฟลด์ข้อมูลและให้ข้อผิดพลาดในการสรุปผลที่ต่ำกว่าเมื่อป้ายกำกับมีจำกัด
คอขวดในการคำนวณหลักคืออะไร
กระบวนการอนุมานของ GP มีสเกลเป็นลูกบาศก์ตามจำนวนจุดข้อมูลฝึกสอน วิธีการจุดเหนี่ยวนำแบบเบาบาง (sparse inducing-point methods) (เช่น FITC, VFE) จะลดสิ่งนี้ลงเหลือ O(nm^2) โดยที่ m คือจำนวนจุดเหนี่ยวนำ (โดยทั่วไปคือ 50–500) ทำให้ semi-supervised GP ขนาดใหญ่สามารถใช้งานได้
ฉันจะเลือกเคอร์เนลสำหรับการรวมข้อมูลที่ไม่มีป้ายกำกับได้อย่างไร
แนวทางทั่วไปคือเคอร์เนลแบบกราฟลาปลาเซียนหรือเคอร์เนลแบบการแพร่กระจายความร้อน (heat-diffusion kernel) ที่คำนวณจากข้อมูลนำเข้าทั้งหมด หรืออีกทางหนึ่ง เคอร์เนล RBF มาตรฐานที่มีสเกลความยาว (lengthscale) ที่ปรับแต่งจากการแจกแจงข้อมูลนำเข้าทั้งหมด (ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ) ก็ทำงานได้ดีพอสมควรเมื่อข้อมูลมีมิติต่ำและมีการแจกแจงที่เรียบ
การแจกแจงความไม่แน่นอนที่สอบเทียบได้ยังคงอยู่หรือไม่หลังจากรวมข้อมูลที่ไม่มีป้ายกำกับ
ตามหลักการแล้ว ใช่ — กรอบการทำงานแบบเบย์เซียนสร้างการแจกแจงภายหลังที่สอบเทียบได้ — แต่การประมาณค่าที่ใช้สำหรับการจำแนกประเภท (Laplace, EP) และวิธีการแบบเบาบาง (จุดเหนี่ยวนำ) อาจลดการสอบเทียบได้ เป็นแนวทางปฏิบัติที่ดีในการประเมินค่า Expected Calibration Error (ECE) บนชุดข้อมูลตรวจสอบที่มีป้ายกำกับ
เมื่อใดที่ฉันควรเลือก semi-supervised SVM แทนวิธีนี้
ควรเลือก semi-supervised SVM (S3VM/transductive SVM) เมื่อคุณต้องการขอบเขตการตัดสินใจ (decision boundary) ที่อิงตามระยะห่าง (margin-based) ที่เรียบง่าย มีฟีเจอร์ที่มีมิติสูงและเบาบาง (เช่น ข้อความ) และไม่ต้องการการประมาณค่าความไม่แน่นอน เลือก semi-supervised GP เมื่อผลลัพธ์แบบความน่าจะเป็นและความยืดหยุ่นของเคอร์เนลมีความสำคัญ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วRasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
ISBN: 978-0-262-18253-9คัดลอกแล้ว