Skip to content
กลับไปยังผลการค้นหา

Conformal Prediction

ผู้เสนอ
Vovk, Gammerman & Shafer
ปี
2005
ประเภท
Distribution-free uncertainty quantification framework
กลุ่มวิธี
Trustworthy ML

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Conformal Prediction เป็นกรอบการทำงานแบบไม่ขึ้นกับรูปแบบการแจกแจง (distribution-free) สำหรับการสร้างเซตการทำนาย (prediction sets) ที่ถูกต้องทางสถิติ (สำหรับการจำแนกประเภท) หรือช่วงการทำนาย (prediction intervals) (สำหรับการถดถอย) รอบผลลัพธ์ของโมเดลการเรียนรู้ของเครื่อง (machine learning model) ที่ได้รับการฝึกฝนไว้ล่วงหน้าแล้ว กรอบงานนี้ถูกนำเสนอโดย Vovk, Gammerman และ Shafer ในตำราปี 2005 ของพวกเขา โดยให้การรับประกันความครอบคลุมแบบขอบเขต (marginal coverage guarantee) ในตัวอย่างที่มีจำนวนจำกัด (finite-sample) — ป้ายกำกับจริงตกอยู่ในเซตการทำนายด้วยความน่าจะเป็นอย่างน้อย 1-alpha — โดยไม่จำเป็นต้องมีข้อสมมติฐานแบบพาราเมตริก (parametric assumptions) เกี่ยวกับการแจกแจงของข้อมูล

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการถึงสถานีตรวจวัดสภาพอากาศที่แทนที่จะกล่าวว่า 'พรุ่งนี้อุณหภูมิจะเป็น 22°C' กลับกล่าวว่า 'พรุ่งนี้อุณหภูมิจะอยู่ระหว่าง 19°C ถึง 25°C และเรารับประกันว่าช่วงนี้จะถูกต้องอย่างน้อย 90% ของวันในระยะยาว' Conformal Prediction ทำงานในลักษณะคล้ายกัน: มันห่อหุ้มการทำนายแบบจุด (point prediction) ของโมเดลที่มีอยู่ด้วยขอบเขตความปลอดภัยที่ขับเคลื่อนด้วยข้อมูล (data-driven safety margin) ซึ่งปรับเทียบจากตัวอย่างที่แยกไว้ (held-out examples) ดังนั้นเซตที่ได้จึงมีความน่าเชื่อถือที่พิสูจน์ได้ภายใต้ข้อสมมติฐานที่อ่อนแอมากเกี่ยวกับวิธีการเก็บรวบรวมข้อมูล

ประวัติศาสตร์

Conformal Prediction ได้รับการทำให้เป็นรูปธรรมโดย Vladimir Vovk, Alexander Gammerman และ Glenn Shafer ในตำรา Springer ปี 2005 โดยต่อยอดจากแนวคิดการเรียนรู้แบบถ่ายทอด (transductive learning) แบบออนไลน์ในช่วงปลายทศวรรษ 1990 รูปแบบอุปนัย (inductive variant) หรือ split-conformal ซึ่งแยกการฝึกออกจากการปรับเทียบ ได้รับความนิยมในภายหลังเพื่อให้วิธีการนี้สามารถปรับขนาดได้ ทศวรรษ 2020 เห็นการนำไปใช้อย่างรวดเร็วในการเรียนรู้เชิงลึก (deep learning) พร้อมส่วนขยายต่างๆ เช่น mondrian conformal prediction สำหรับการรับประกันแบบมีเงื่อนไข, risk-controlling prediction sets และ conformal risk control

ควรใช้เมื่อใด

ใช้ Conformal Prediction เมื่อคุณต้องการการรับประกันความครอบคลุมของผลลัพธ์ความไม่แน่นอนของโมเดลที่เข้มงวดและมีจำนวนตัวอย่างจำกัด โดยไม่ขึ้นกับข้อสมมติฐานการแจกแจง เหมาะสำหรับทั้งงานจำแนกประเภทและงานถดถอยที่ข้อมูลปรับเทียบจากรูปแบบการแจกแจงเดียวกับข้อมูลทดสอบมีอยู่ ข้อจำกัดรวมถึงข้อสมมติฐานการสับเปลี่ยนได้ (ซึ่งถูกละเมิดภายใต้การเลื่อนไหลของตัวแปรร่วม (covariate shift)) และความครอบคลุมเป็นแบบขอบเขต (marginal) แทนที่จะเป็นแบบมีเงื่อนไข (conditional) ซึ่งหมายความว่าบางกลุ่มย่อยอาจถูกครอบคลุมน้อยเกินไปหรือมากเกินไป ทางเลือกอื่น ได้แก่ ช่วงความเชื่อมั่นแบบเบย์ (Bayesian credible intervals) (ซึ่งต้องการข้อสมมติฐานการแจกแจง) และการถดถอยควอนไทล์ (quantile regression) (ซึ่งไม่มีการรับประกันจำนวนตัวอย่างจำกัดหากไม่ใช้การห่อหุ้มแบบ Conformal)

ข้อจำกัดและข้อควรพิจารณา

  • การรับประกันความครอบคลุมเป็นแบบขอบเขต (marginal) (เฉลี่ยตามอินพุตทดสอบ) ไม่ใช่แบบมีเงื่อนไข (conditional) สำหรับแต่ละ x
  • สมมติฐานว่าข้อมูลปรับเทียบและข้อมูลทดสอบสับเปลี่ยนได้ (exchangeability); ประสิทธิภาพจะลดลงภายใต้การเลื่อนไหลของตัวแปรร่วมหรือการเลื่อนไหลของป้ายกำกับ (label shift)
  • เซตการทำนายอาจมีขนาดใหญ่จนไม่ให้ข้อมูลเมื่อโมเดลพื้นฐานอ่อนแอ หรืออัตราการไม่ครอบคลุมเป้าหมาย alpha มีค่าน้อย
  • วิธีการแบบ Split-conformal ต้องการชุดข้อมูลปรับเทียบที่จัดสรรไว้โดยเฉพาะ ซึ่งลดข้อมูลที่มีอยู่สำหรับการฝึก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ให้การรับประกันความครอบคลุมแบบขอบเขต (marginal coverage) ที่ถูกต้องสำหรับโมเดลพื้นฐานใดๆ โดยไม่ขึ้นกับรูปแบบการแจกแจงและมีจำนวนตัวอย่างจำกัด
  • ไม่ขึ้นกับโมเดล (Model-agnostic): ห่อหุ้มตัวจำแนกประเภทหรือตัวถดถอยที่ฝึกไว้ล่วงหน้าแล้วโดยไม่ต้องฝึกใหม่
  • มีน้ำหนักเบาในการคำนวณเมื่อทำการอนุมาน (inference time) — เพียงแค่ต้องจัดเก็บคะแนนการปรับเทียบและคำนวณควอนไทล์
  • คะแนนความไม่สอดคล้องที่ยืดหยุ่นช่วยให้ปรับตัวเข้ากับงานที่หลากหลาย รวมถึงการตรวจจับวัตถุ (object detection) และการสร้างข้อความภาษาธรรมชาติ (natural language generation)

การประยุกต์ใช้

  • การวินิจฉัยทางการแพทย์: การสร้างเซตการทำนายสำหรับการจำแนกประเภทโรคที่รับประกันว่าการวินิจฉัยที่ถูกต้องจะรวมอยู่ด้วยความน่าจะเป็นสูง เพื่อสนับสนุนการตัดสินใจทางคลินิกที่ปลอดภัย
  • การค้นพบยา: การสร้างขอบเขตความเชื่อมั่นที่เชื่อถือได้สำหรับการทำนายคุณสมบัติของโมเลกุล เพื่อช่วยให้นักเคมีจัดลำดับความสำคัญของสารประกอบสำหรับการทดสอบในห้องปฏิบัติการที่มีค่าใช้จ่ายสูง
  • การขับขี่อัตโนมัติ: การสร้างขอบเขตความไม่แน่นอนที่รับประกันความครอบคลุมรอบผลลัพธ์การตรวจจับวัตถุ เพื่อกระตุ้นพฤติกรรมการถอยกลับที่ปลอดภัย
  • การประมวลผลภาษาธรรมชาติ: เซตการทำนายที่ปรับเทียบสำหรับการจำแนกประเภทข้อความ และความไม่แน่นอนระดับโทเค็น (token-level uncertainty) ในผลลัพธ์ของแบบจำลองภาษาขนาดใหญ่ (large language model)
  • การประเมินความเสี่ยงทางการเงิน: ช่วงการทำนายแบบไม่ขึ้นกับรูปแบบการแจกแจงสำหรับการคาดการณ์ผลตอบแทนที่ยังคงถูกต้องภายใต้การตรวจสอบตามกฎระเบียบ โดยไม่จำเป็นต้องใช้โมเดลแบบพาราเมตริก

วิธีการทำงาน

วิธีการทำงาน

1

โมเดลการเรียนรู้ของเครื่องแบบทั่วไป — ไม่ว่าจะเป็นตัวจำแนกประเภท (classifier), ตัวถดถอย (regressor), หรือโครงข่ายประสาทเทียม (neural network) — จะถูกฝึกฝนบนส่วนข้อมูลฝึก (training split) ที่จัดสรรไว้โดยเฉพาะ Conformal Prediction ไม่ขึ้นกับโมเดลนี้ มันปฏิบัติต่อโมเดลเสมือนกล่องดำ (black box) คุณภาพของเซตการทำนายสุดท้ายได้รับอิทธิพลจากความแม่นยำของโมเดลพื้นฐาน (base model) แต่การรับประกันความถูกต้องยังคงอยู่โดยไม่คำนึงถึงสิ่งนี้

สูตร
\hat{f} \leftarrow \text{Train}(\{(x_i, y_i)\}_{i=1}^{n_{\text{train}}})
2

บนส่วนข้อมูลปรับเทียบ (calibration split) ที่แยกต่างหากซึ่งโมเดลพื้นฐานไม่เคยเห็น จะมีการคำนวณคะแนนความไม่สอดคล้อง (nonconformity score) สำหรับแต่ละตัวอย่าง สำหรับการถดถอย คะแนนมักจะเป็นค่าสัมบูรณ์ของส่วนเหลือ (absolute residual) |y - f_hat(x)|; สำหรับการจำแนกประเภท อาจเป็น 1 ลบด้วยความน่าจะเป็นที่ทำนายได้ของคลาสจริง คะแนนเหล่านี้วัดว่าจุดข้อมูลปรับเทียบแต่ละจุด 'น่าประหลาดใจ' เพียงใดเมื่อเทียบกับโมเดล

สูตร
s_i = \|y_i - \hat{f}(x_i)\|, \quad i = 1, \dots, n_{\text{cal}}
3

ควอนไทล์เชิงประจักษ์ (empirical quantile) (1-alpha) ของคะแนนความไม่สอดคล้องในการปรับเทียบจะถูกคำนวณพร้อมกับตัวประกอบการแก้ไขสำหรับตัวอย่างที่มีจำนวนจำกัด (finite-sample correction factor) ควอนไทล์ที่แก้ไขนี้ q_hat คือเกณฑ์ ซึ่งโดยการสับเปลี่ยนได้ของข้อมูล (exchangeability of the data) จะทำให้มั่นใจได้ว่าการรับประกันความครอบคลุมจะยังคงอยู่บนจุดข้อมูลทดสอบใหม่ (fresh test point) ด้วยความน่าจะเป็นอย่างน้อย 1-alpha

สูตร
\hat{q} = \text{Quantile}\!\left(\{s_i\}_{i=1}^{n_{\text{cal}}};\ \frac{\lceil (n_{\text{cal}}+1)(1-\alpha) \rceil}{n_{\text{cal}}}\right)
4

สำหรับอินพุตทดสอบใหม่ x_new เซตการทำนายจะประกอบด้วยป้ายกำกับที่เป็นไปได้ทั้งหมด y ซึ่งคะแนนความไม่สอดคล้องไม่เกิน q_hat ในการถดถอย สิ่งนี้จะให้ช่วง [f_hat(x_new) - q_hat, f_hat(x_new) + q_hat]; ในการจำแนกประเภท จะให้เซตย่อยของคลาสที่มีความน่าจะเป็นที่ทำนายได้สูงพอ เซตนี้รับประกันว่าจะครอบคลุมป้ายกำกับจริงด้วยความน่าจะเป็นขอบเขต (marginal probability) อย่างน้อย 1-alpha

สูตร
\mathcal{C}(x_{\text{new}}) = \{y : s(x_{\text{new}}, y) \leq \hat{q}\}

ข้อผิดพลาดที่พบบ่อย

  • การใช้ชุดข้อมูลฝึกเป็นชุดข้อมูลปรับเทียบจะเพิ่มความมองโลกในแง่ดีเกินจริง (optimism) และทำลายการรับประกันความถูกต้อง — ต้องใช้ชุดข้อมูลปรับเทียบที่แยกไว้เสมอ
  • การสับสนระหว่างความครอบคลุมแบบขอบเขตกับความครอบคลุมแบบมีเงื่อนไข: การรับประกันไม่ได้หมายความว่าทุกกลุ่มย่อยจะถูกครอบคลุมในระดับ 1-alpha
  • การละเลยการเลื่อนไหลของการแจกแจง: การใช้ตัวทำนายแบบ Conformal ที่ปรับเทียบจากข้อมูลในอดีตกับรูปแบบการแจกแจงที่ใช้งานจริงที่เลื่อนไหลไป จะทำให้การรับประกันทางทฤษฎีเสียหาย
  • การปฏิบัติต่อขนาดเซตการทำนายเป็นมาตรวัดความเชื่อมั่นโดยตรง โดยไม่ตระหนักว่าขนาดเซตขึ้นอยู่กับคุณภาพของโมเดลและค่า alpha ที่เลือกพร้อมกัน

คำถามที่พบบ่อย

Conformal Prediction จำเป็นต้องทราบการแจกแจงของข้อมูลหรือไม่?

ไม่ การรับประกันความครอบคลุมแบบขอบเขตอาศัยเพียงข้อสมมติฐานการสับเปลี่ยนได้เท่านั้น — กล่าวคือ ตัวอย่างปรับเทียบและตัวอย่างทดสอบถูกสุ่มมาจากรูปแบบการแจกแจงเดียวกันแบบ i.i.d. ไม่จำเป็นต้องระบุตระกูลพาราเมตริกใดๆ ซึ่งเป็นสิ่งที่ทำให้กรอบงานนี้ 'ไม่ขึ้นกับรูปแบบการแจกแจง' นี่คือข้อได้เปรียบทางทฤษฎีหลักเหนือกว่าช่วงความเชื่อมั่นแบบเบย์และช่วงความเชื่อมั่นแบบคลาสสิกที่อิงตามความเป็นปกติ

ขนาดของชุดข้อมูลปรับเทียบถูกเลือกอย่างไร และส่งผลต่อผลลัพธ์อย่างไร?

ชุดข้อมูลปรับเทียบที่ใหญ่ขึ้นจะให้การประมาณค่าควอนไทล์เชิงประจักษ์ที่แคบลงและเสถียรขึ้น ส่งผลให้เซตการทำนายมีขนาดเล็กลง กฎทั่วไปที่ใช้กันคืออย่างน้อยหลายร้อยตัวอย่างในการปรับเทียบ ด้วยชุดข้อมูลปรับเทียบที่เล็กมาก (น้อยกว่า 1/alpha จุด) การแก้ไขสำหรับตัวอย่างจำนวนจำกัดจะบังคับให้เซตครอบคลุมเต็มรูปแบบ ทำให้วิธีการนี้ไม่ให้ข้อมูล มีการแลกเปลี่ยนระหว่างความเอนเอียงและความแปรปรวน (bias-variance trade-off) มาตรฐานระหว่างขนาดชุดข้อมูลฝึกและขนาดชุดข้อมูลปรับเทียบ

สามารถใช้ Conformal Prediction กับโครงข่ายประสาทเทียมเชิงลึก (deep neural networks) ได้หรือไม่?

ได้ เนื่องจากกรอบงานนี้ไม่ขึ้นกับโมเดล จึงสามารถห่อหุ้มโครงข่ายประสาทเทียมใดๆ ได้โดยไม่ต้องแก้ไข คะแนนความไม่สอดคล้องมักจะถูกกำหนดโดยใช้ผลลัพธ์ softmax ของโมเดลสำหรับการจำแนกประเภท หรือการทำนายแบบจุดสำหรับการถดถอย ในเชิงการคำนวณ การปรับเทียบต้องการเพียงการส่งผ่านไปข้างหน้า (forward pass) เพียงครั้งเดียวบนชุดข้อมูลปรับเทียบ ทำให้ใช้งานได้จริงสำหรับโมเดลขนาดใหญ่

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Vovk, V., Gammerman, A., & Shafer, G. (2005). Algorithmic Learning in a Random World. Springer.

    ISBN: 978-0-387-00152-4
    คัดลอกแล้ว