การปรับเทียบโมเดล
- ผู้เสนอ
- Platt; Guo et al.
- ปี
- 2017
- ประเภท
- Post-hoc probability correction technique
- กลุ่มวิธี
- Trustworthy ML
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การปรับเทียบโมเดล (Model calibration) เป็นเทคนิคภายหลังการฝึก (post-hoc technique) ที่ปรับค่าผลลัพธ์ความน่าจะเป็นของตัวจำแนกประเภท (classifier) ที่ได้รับการฝึกแล้ว เพื่อให้คะแนนความเชื่อมั่นที่ทำนายตรงกับความถี่ของผลลัพธ์เชิงประจักษ์ ตัวจำแนกประเภทจะถือว่าได้รับการปรับเทียบอย่างสมบูรณ์แบบ หากในบรรดาการทำนายทั้งหมดที่ทำด้วยความเชื่อมั่น p มีเพียงเศษส่วน p เท่านั้นที่ถูกต้อง การปรับเทียบที่ผิดพลาดอย่างเป็นระบบในโครงข่ายประสาทเทียมเชิงลึกสมัยใหม่ได้รับการบันทึกไว้อย่างเข้มงวดโดย Guo et al. (2017) ซึ่งแสดงให้เห็นว่าโครงข่ายที่ฝึกด้วยฟังก์ชันต้นทุนครอสเอนโทรปีมาตรฐานมีแนวโน้มที่จะมั่นใจเกินไป และเสนอการปรับสเกลด้วยอุณหภูมิ (temperature scaling) เป็นวิธีการแก้ไขที่ง่ายและมีประสิทธิภาพ
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพนักพยากรณ์อากาศที่กล่าวว่า 'มีโอกาสฝนตก 90%' ใน 100 วันที่แตกต่างกัน หากมีเพียง 60 วันเท่านั้นที่ฝนตกจริง นักพยากรณ์คนนั้นก็มั่นใจเกินไป การปรับเทียบก็เหมือนกับการปรับเทียบสเกลของนักพยากรณ์ใหม่ เพื่อให้เมื่อเขากล่าวว่า 90% อัตราการตกฝนนั้นเป็น 90% จริงๆ สำหรับโครงข่ายประสาทเทียม หมายความว่าการยืดหรือบีบอัดคะแนนความเชื่อมั่นดิบของมัน จนกว่าตัวเลขบนป้ายจะสะท้อนความถี่ที่โครงข่ายถูกต้องอย่างแท้จริง
ประวัติศาสตร์
การปรับเทียบความน่าจะเป็นมีรากฐานมาจาก Platt scaling (Platt, 1999) ซึ่งปรับฟังก์ชันซิกมอยด์ (sigmoid) ให้กับผลลัพธ์ของ SVM และการถดถอยแบบไม่ลดทอน (isotonic regression) ที่ใช้กับตัวจำแนกประเภท Naive Bayes การจัดการสมัยใหม่ได้รับการพัฒนาอย่างมากโดย Guo et al. (2017) ซึ่งได้ทำการทดสอบ ResNet และสถาปัตยกรรมอื่นๆ และพบว่าความมั่นใจเกินไปอย่างเป็นระบบสัมพันธ์กับความจุของโมเดล ข้อเสนอการปรับสเกลด้วยอุณหภูมิของพวกเขาได้กลายเป็นเกณฑ์มาตรฐานมาตรฐาน กระตุ้นให้เกิดงานวิจัยต่อเนื่องเกี่ยวกับการปรับเทียบตามเงื่อนไขของคลาส (class-conditional calibration) การปรับเทียบแบบรวมกลุ่ม (ensemble calibration) และการปรับเทียบภายใต้การเปลี่ยนแปลงการกระจายในช่วงปลายทศวรรษ 2010 และ 2020
ควรใช้เมื่อใด
ใช้การปรับเทียบโมเดลเมื่อใดก็ตามที่ความน่าจะเป็นที่ทำนายจะป้อนเข้าสู่การตัดสินใจในขั้นตอนถัดไป (downstream decisions) ที่ขึ้นอยู่กับค่าที่ปรากฏ เช่น การแบ่งชั้นความเสี่ยงทางการแพทย์ การให้คะแนนการฉ้อโกง หรือตัวจำแนกประเภทที่คำนึงถึงต้นทุน มีความสำคัญอย่างยิ่งสำหรับโครงข่ายประสาทเทียมเชิงลึก ซึ่ง Guo et al. (2017) แสดงให้เห็นว่ามีความมั่นใจเกินไปเพิ่มขึ้นตามความจุของโมเดลที่เพิ่มขึ้น การปรับเทียบสมมติว่ามีชุดข้อมูลตรวจสอบที่เป็นตัวแทนที่ดี มันไม่สามารถแก้ไขการเปลี่ยนแปลงการกระจาย (distribution shift) ระหว่างการกระจายข้อมูลสำหรับการปรับเทียบและการนำไปใช้งานได้ เมื่อต้องการช่วงความน่าเชื่อถือ (prediction intervals) แทนที่จะเป็นความน่าจะเป็นแบบจุด (point probabilities) ให้พิจารณาการทำนายแบบสอดคล้องกัน (conformal prediction) แทน
ข้อจำกัดและข้อควรพิจารณา
- การปรับเทียบต้องการชุดข้อมูลตรวจสอบที่แยกไว้ ชุดข้อมูลปรับเทียบขนาดเล็กทำให้การประมาณค่าอุณหภูมิไม่น่าเชื่อถือ
- การปรับสเกลด้วยอุณหภูมิสมมติว่าสเกลาร์ส่วนกลางเพียงค่าเดียวเพียงพอ ซึ่งอาจล้มเหลวเมื่อความผิดพลาดในการปรับเทียบเฉพาะเจาะจงกับคลาสหรือภูมิภาค
- ECE มีความไวต่อจำนวนและความกว้างของถัง ทำให้การเปรียบเทียบข้ามการศึกษาไม่แน่นอนหากไม่มีการกำหนดมาตรฐาน
- การปรับเทียบไม่ปรับปรุงความคมชัดหรือความสามารถในการแยกแยะ โมเดลที่มีความสามารถในการแยกแยะต่ำยังคงเป็นเช่นนั้นหลังจากการปรับเทียบ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การปรับสเกลด้วยอุณหภูมิเพิ่มพารามิเตอร์เพียงหนึ่งเดียวและไม่สามารถลดความแม่นยำในการจำแนกประเภทได้ ทำให้มีน้ำหนักเบามาก
- ECE ให้การวินิจฉัยที่ตีความได้และนำไปปฏิบัติได้ ซึ่งวัดปริมาณความผิดพลาดในการปรับเทียบก่อนและหลังการแก้ไข
- การปรับเทียบภายหลังการฝึกไม่ขึ้นกับโมเดล (model-agnostic) และสามารถนำไปใช้กับตัวจำแนกประเภทที่ฝึกไว้แล้วใดๆ ได้โดยไม่ต้องฝึกใหม่
- ความน่าจะเป็นที่ปรับเทียบอย่างดีช่วยให้สามารถเลือกเกณฑ์ (threshold) ที่เชื่อถือได้และการคำนวณค่าคาดหวังในไปป์ไลน์ขั้นตอนถัดไป
การประยุกต์ใช้
- ระบบวินิจฉัยทางการแพทย์ที่คะแนนความเสี่ยงที่ปรับเทียบไม่ถูกต้องนำไปสู่เกณฑ์การรักษาที่ไม่ถูกต้อง
- การให้คะแนนเครดิตและการตรวจจับการฉ้อโกงที่ผลลัพธ์ความน่าจะเป็นขับเคลื่อนการตัดสินใจยอมรับ/ปฏิเสธที่คำนึงถึงต้นทุน
- ตัวจำแนกประเภทการประมวลผลภาษาธรรมชาติที่ต้องการการรวมผลลัพธ์ของโมเดลแบบถ่วงน้ำหนักด้วยความเชื่อมั่นในสเกลความน่าจะเป็นร่วมกัน
- ไปป์ไลน์การตรวจจับวัตถุที่ใช้เกณฑ์ความเชื่อมั่นเพื่อกรองการตรวจจับผู้สมัครก่อนการให้เหตุผลในขั้นตอนถัดไป
- การตั้งค่าการเรียนรู้แบบรวมกลุ่ม (ensemble learning) และการเรียนรู้แบบสหพันธ์ (federated learning) ที่ต้องรวมผลลัพธ์จากหลายโมเดลบนสเกลความน่าจะเป็นร่วมกัน
วิธีการทำงาน
วิธีการทำงาน
สำหรับตัวอย่างการตรวจสอบแต่ละตัวอย่าง ให้ดึงค่าความน่าจะเป็นสูงสุดของ softmax ในทุกคลาสออกมาเป็นความเชื่อมั่นที่รายงานโดยโมเดล ค่าสเกลาร์นี้แสดงถึงความมั่นใจที่โมเดลอ้างว่ามีต่อการทำนายอันดับสูงสุด และทำหน้าที่เป็นอินพุตดิบสำหรับไปป์ไลน์การปรับเทียบ
สูตร
\hat{p}_i = \max_c \, \hat{\sigma}_c(\mathbf{x}_i)แบ่งการทำนายออกเป็น M ถัง (bin) ที่มีความกว้างเท่ากันตามความเชื่อมั่น สำหรับแต่ละถัง ให้คำนวณช่องว่างระหว่างค่าเฉลี่ยความเชื่อมั่นและค่าเฉลี่ยความแม่นยำ จากนั้นทำการหาค่าเฉลี่ยถ่วงน้ำหนักข้ามถัง ข้อผิดพลาดการปรับเทียบที่คาดหวัง (Expected Calibration Error - ECE) ที่ได้เป็นตัววินิจฉัยหลัก: ECE ที่ต่ำกว่าบ่งชี้ถึงการจัดตำแหน่งที่ดีขึ้นระหว่างความน่าจะเป็นที่ทำนายกับความถี่ที่สังเกตได้
สูตร
\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|หารเวกเตอร์โลจิต (logit) ก่อน softmax ด้วยสเกลาร์ T ที่สามารถเรียนรู้ได้เพียงค่าเดียว ก่อนที่จะใช้ softmax เมื่อ T มากกว่า 1 การกระจายจะถูกทำให้แบนลง ลดความมั่นใจเกินไป เมื่อ T น้อยกว่า 1 จะถูกทำให้คมชัดขึ้น การปรับสเกลด้วยอุณหภูมิไม่เปลี่ยนแปลงลำดับการจัดอันดับของการทำนาย ทำให้ความแม่นยำไม่เปลี่ยนแปลง ในขณะที่ปรับปรุงการปรับเทียบ
สูตร
\hat{q}_i = \max_c \, \sigma_{\mathrm{SM}}\!\left(\mathbf{z}_i / T\right)_c, \quad T > 0ค้นหาอุณหภูมิที่เหมาะสมที่สุด T* โดยการลดค่าฟังก์ชันลบของล็อกความเป็นไปได้ (negative log-likelihood - NLL) ของชุดข้อมูลตรวจสอบที่แยกไว้ ปัญหานี้เป็นการหาค่าที่เหมาะสมที่สุดแบบหนึ่งมิติแบบนูน (convex optimization) ซึ่งสามารถแก้ไขได้อย่างมีประสิทธิภาพด้วยการไล่ระดับ (gradient descent) หรือการค้นหาตามแนวเส้น (line search) จากนั้น T* ที่ได้จะถูกกำหนดค่าและนำไปใช้ในเวลาอนุมาน (inference time) กับการทำนายในอนาคตทั้งหมด
สูตร
T^* = \arg\min_{T} \, \mathcal{L}_{\mathrm{NLL}}\!\left(\sigma_{\mathrm{SM}}(\mathbf{z}/T),\, y\right)ข้อผิดพลาดที่พบบ่อย
- การปรับเทียบด้วยข้อมูลชุดเดียวกับที่ใช้ในการฝึกนำไปสู่การเรียนรู้เกิน (overfitting) และ ECE ที่ต่ำอย่างผิดปกติในชุดข้อมูลฝึก
- การใช้ความน่าจะเป็นที่ปรับเทียบเสมือนว่าเป็นค่าประมาณความไม่แน่นอน เป็นการผสมผสานความไม่แน่นอนแบบสุ่ม (aleatoric uncertainty) และความไม่แน่นอนเชิงญาณ (epistemic uncertainty)
- การรายงาน ECE เพียงอย่างเดียวอาจบดบังการปรับเทียบที่ไม่ดีในส่วนหาง (tails) ควรแสดงแผนภาพความน่าเชื่อถือ (reliability diagram) ควบคู่ไปกับเมตริกสเกลาร์เสมอ
- การใช้โมเดลที่ปรับเทียบกับชุดข้อมูลที่นำไปใช้งานซึ่งมีการเปลี่ยนแปลง จะทำให้การปรับเทียบเป็นโมฆะและอาจให้ค่าความเชื่อมั่นที่ทำให้เข้าใจผิดได้
คำถามที่พบบ่อย
การปรับเทียบส่งผลต่อความแม่นยำในการจำแนกประเภทหรือไม่?
การปรับสเกลด้วยอุณหภูมิไม่เปลี่ยนแปลงลำดับการจัดอันดับของความน่าจะเป็นของคลาส ดังนั้นความแม่นยำอันดับหนึ่ง (top-1 accuracy) จึงไม่เปลี่ยนแปลง วิธีการปรับเทียบอื่นๆ เช่น การถดถอยแบบไม่ลดทอน อาจเปลี่ยนแปลงการทำนาย argmax ในบางกรณีที่หายาก แต่เป้าหมายหลักคือความแม่นยำของความน่าจะเป็น ไม่ใช่ความแม่นยำในการจำแนกประเภท และผลกระทบต่อความแม่นยำใดๆ โดยทั่วไปจะน้อยมาก
ฉันจะทราบได้อย่างไรว่าโมเดลของฉันต้องการการปรับเทียบ?
พลอตแผนภาพความน่าเชื่อถือ: จัดกลุ่มการทำนายตามถังความเชื่อมั่นและพลอตค่าเฉลี่ยความเชื่อมั่นเทียบกับความแม่นยำเชิงประจักษ์ โมเดลที่ปรับเทียบอย่างสมบูรณ์แบบจะตามแนวเส้นทแยงมุม เส้นโค้งที่อยู่เหนือเส้นทแยงมุมอย่างสม่ำเสมอบ่งชี้ถึงความมั่นใจเกินไป เส้นโค้งที่อยู่ต่ำกว่าบ่งชี้ถึงความมั่นใจน้อยเกินไป คำนวณ ECE เป็นสถิติสรุปเดียว ค่าที่สูงกว่าประมาณ 0.05 โดยทั่วไปถือว่าเป็นการปรับเทียบที่ไม่ถูกต้องที่ไม่ใช่เรื่องเล็กน้อยในทางปฏิบัติ
ฉันควรใช้การถดถอยแบบไม่ลดทอนแทนการปรับสเกลด้วยอุณหภูมิเมื่อใด?
การถดถอยแบบไม่ลดทอนเป็นฟังก์ชันโมโนโทนแบบไม่ใช้พารามิเตอร์ (non-parametric monotone function) และสามารถจับการปรับเทียบที่ซับซ้อน ไม่สม่ำเสมอทั่วทั้งช่วงความน่าจะเป็น ควรเลือกใช้เมื่อแผนภาพความน่าเชื่อถือแสดงรูปแบบที่ไม่ใช่โมโนโทนหรือไม่สม่ำเสมอ อย่างไรก็ตาม การถดถอยแบบไม่ลดทอนต้องการข้อมูลมากขึ้นเพื่อให้สามารถปรับได้อย่างน่าเชื่อถือ และโดยทั่วไปจะนิยมใช้การปรับสเกลด้วยอุณหภูมิเมื่อชุดข้อมูลปรับเทียบมีขนาดเล็ก หรือเมื่อความเรียบง่ายและความสามารถในการตีความมีความสำคัญเป็นอันดับแรก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว