Skip to content
กลับไปยังผลการค้นหา

Naive Bayes แบบกึ่งกำกับดูแล

ผู้เสนอ
Nigam, K.; McCallum, A. K.; Thrun, S.; Mitchell, T.
ปี
2000
ประเภท
Semi-supervised generative classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Naive Bayes แบบกึ่งกำกับดูแล (Semi-supervised Naive Bayes) เป็นการขยายแบบจำลองการสร้าง (generative model) แบบ Naive Bayes แบบดั้งเดิม เพื่อใช้ประโยชน์จากชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก ควบคู่ไปกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก โดยใช้เทคนิค Expectation-Maximization (EM) ในการประมาณค่าการกำหนดป้ายกำกับแบบอ่อน (soft class assignments) สำหรับข้อมูลที่ไม่มีป้ายกำกับ และปรับปรุงค่าพารามิเตอร์ของคลาสและคุณลักษณะใหม่ ซึ่งส่งผลให้ได้ตัวจำแนกประเภท (classifier) ที่ดีขึ้นอย่างมากเมื่อข้อมูลที่มีป้ายกำกับมีจำกัด

แนวคิดเบื้องหลังวิธีการ

Naive Bayes แบบดั้งเดิมต้องการข้อมูลที่มีป้ายกำกับเพื่อประมาณค่าความน่าจะเป็นของคลาส (class probabilities) และความควรจะเป็นของคุณลักษณะ (feature likelihoods) เมื่อการติดป้ายกำกับมีค่าใช้จ่ายสูง แต่ข้อมูลดิบมีอยู่มากมาย ข้อมูลส่วนใหญ่ในชุดข้อมูลจะถูกละเลย Naive Bayes แบบกึ่งกำกับดูแลแก้ไขปัญหานี้โดยการปฏิบัติต่อป้ายกำกับที่ไม่ทราบค่าของข้อมูลที่ไม่มีป้ายกำกับเสมือนเป็นตัวแปรแฝง (hidden variables): โดยจะสลับระหว่างการคาดเดาป้ายกำกับเหล่านั้นตามแบบจำลองปัจจุบัน (E-step) และการปรับปรุงแบบจำลองโดยใช้การคาดเดาเหล่านั้น (M-step) ในหลายรอบ แบบจำลองจะทำการบูตสแตรปตัวเอง (bootstraps itself) เพื่อให้ได้ค่าประมาณพารามิเตอร์ที่แม่นยำกว่าที่ได้จากข้อมูลที่มีป้ายกำกับเพียงอย่างเดียว

ประวัติศาสตร์

Nigam, McCallum, Thrun, และ Mitchell (2000) ได้ทำให้ Naive Bayes แบบกึ่งกำกับดูแลเป็นที่นิยมสำหรับการจำแนกประเภทข้อความ โดยแสดงให้เห็นว่า EM กับแบบจำลอง Naive Bayes แบบพหุนาม (multinomial Naive Bayes) สามารถลดอัตราข้อผิดพลาดลงครึ่งหนึ่งในชุดข้อมูลมาตรฐาน เมื่อบทความข่าวที่ไม่มีป้ายกำกับมาเสริมชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก แนวทางนี้ได้รับอิทธิพลจากงานก่อนหน้าเกี่ยวกับ EM สำหรับแบบจำลองผสม (mixture models) และกลายเป็นตัวอย่างมาตรฐานในวรรณกรรมเกี่ยวกับการเรียนรู้แบบกึ่งกำกับดูแล ซึ่งมีการอภิปรายอย่างกว้างขวางใน Chapelle et al. (2006)

ควรใช้เมื่อใด

เหมาะสมที่สุดเมื่อมีข้อมูลที่มีป้ายกำกับจำนวนหลักสิบถึงหลักร้อย แต่มีข้อมูลที่ไม่มีป้ายกำกับจำนวนมากจากการกระจายเดียวกัน — สถานการณ์ทั่วไปในการจำแนกประเภทข้อความ การกรองสแปม และการจัดหมวดหมู่เอกสารทางการแพทย์ คุณลักษณะควรเป็นอิสระต่อกันแบบมีเงื่อนไขเมื่อกำหนดคลาส (หรือใกล้เคียง) ทำให้การแสดงผลแบบถุงคำ (bag-of-words) และการนับเป็นรูปแบบที่เหมาะสม หลีกเลี่ยงเมื่อข้อมูลที่ไม่มีป้ายกำกับมาจากการกระจายที่แตกต่างจากชุดข้อมูลที่มีป้ายกำกับ (covariate shift) เนื่องจาก EM อาจทำให้แย่ลงแทนที่จะดีขึ้น ควรปรับพารามิเตอร์ lambda ในกรณีดังกล่าว หลีกเลี่ยงเมื่อข้อสมมติฐานความเป็นอิสระแบบมีเงื่อนไขถูกละเมิดอย่างรุนแรง และแบบจำแนกแบบเลือก (discriminative model) จะเป็นที่ต้องการอย่างมากโดยไม่คำนึงถึงความขาดแคลนป้ายกำกับ

ข้อจำกัดและข้อควรพิจารณา

  • สืบทอดข้อสมมติฐานความเป็นอิสระแบบมีเงื่อนไขของ Naive Bayes; คุณลักษณะที่มีสหสัมพันธ์กันจะทำให้การประมาณค่าพารามิเตอร์แย่ลง
  • EM ลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ (local optimum) ซึ่งขึ้นอยู่กับการเริ่มต้น อาจจำเป็นต้องทำการเริ่มต้นใหม่หลายครั้ง
  • ข้อมูลที่ไม่มีป้ายกำกับจากการกระจายที่แตกต่างกันอาจทำให้ความแม่นยำลดลง (negative transfer) เว้นแต่จะมีการลดน้ำหนักอย่างระมัดระวัง
  • มีความสามารถในการแข่งขันน้อยกว่าวิธีการกึ่งกำกับดูแลแบบเลือก (เช่น transductive SVM, label propagation) บนชุดคุณลักษณะขนาดเล็กที่มีสหสัมพันธ์ของคุณลักษณะที่แข็งแกร่ง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับที่อาจถูกละทิ้งไปอย่างมีประสิทธิภาพ ซึ่งมักจะช่วยลดปริมาณข้อมูลที่มีป้ายกำกับที่ต้องการได้อย่างมาก
  • คำนวณได้รวดเร็ว: แต่ละรอบของ EM เป็นเชิงเส้นตามขนาดข้อมูล ทำให้เหมาะสำหรับคลังข้อความขนาดใหญ่
  • กรอบการทำงานเชิงความน่าจะเป็นที่มีหลักการ พร้อมการรับประกันการลู่เข้าที่เข้าใจได้ดี (สู่ค่าเหมาะสมที่สุดเฉพาะที่ของฟังก์ชันความควรจะเป็น)
  • สร้างความน่าจะเป็นภายหลังที่ปรับเทียบได้ (calibrated posterior probabilities) ซึ่งช่วยในการจัดอันดับและการตั้งค่าเกณฑ์ (thresholding) ในขั้นตอนต่อไป
  • ง่ายต่อการนำไปใช้และขยาย — การถ่วงน้ำหนักด้วย lambda เป็นกลไกที่ใช้งานได้จริงในการควบคุมอิทธิพลของข้อมูลที่ไม่มีป้ายกำกับ

การประยุกต์ใช้

  • การจำแนกประเภทข้อความและเอกสารด้วยข้อมูลฝึกอบรมที่มีป้ายกำกับจำกัด
  • การตรวจจับสแปมและฟิชชิง ซึ่งข้อมูลสแปมที่มีป้ายกำกับมีน้อย แต่มีอีเมลที่ไม่มีป้ายกำกับจำนวนมาก
  • การวิเคราะห์ความรู้สึก (sentiment analysis) ที่บูตสแตรปจากรีวิวที่มีป้ายกำกับเพียงไม่กี่รายการ
  • การจัดหมวดหมู่เอกสารทางการแพทย์ (เช่น การคัดแยกบทความ PubMed) โดยใช้ชุดข้อมูลย่อยขนาดเล็กที่ติดป้ายกำกับโดยผู้เชี่ยวชาญ
  • การจำแนกหัวข้อหน้าเว็บโดยใช้ชุดเริ่มต้นขนาดเล็กที่ติดป้ายกำกับด้วยมือและคลังข้อมูลขนาดใหญ่ที่รวบรวมมา
  • การจัดเส้นทางอีเมลหรือตั๋ว โดยมีเพียงส่วนน้อยของตั๋วในอดีตที่มีป้ายกำกับหมวดหมู่ที่ยืนยันแล้ว

วิธีการทำงาน

วิธีการทำงาน

1

ฝึกอบรมแบบจำลอง Naive Bayes เริ่มต้นโดยใช้เฉพาะข้อมูลที่มีป้ายกำกับ ซึ่งจะให้ค่าประมาณเบื้องต้นของความน่าจะเป็นก่อนของคลาส (class priors P(y)) และความควรจะเป็นแบบมีเงื่อนไขของคุณลักษณะ (conditional feature likelihoods P(x_j | y)) โดยทั่วไปจะใช้การปรับให้เรียบแบบลาปลาซ (Laplace smoothing) เพื่อจัดการกับค่าของคุณลักษณะที่ไม่เคยพบมาก่อน แบบจำลองที่ได้จะเป็นจุดเริ่มต้นสำหรับลูป EM มากกว่าจะเป็นตัวจำแนกประเภทสุดท้าย

2

นำแบบจำลองปัจจุบันไปใช้กับข้อมูลที่ไม่มีป้ายกำกับทุกรายการ เพื่อคำนวณน้ำหนักการเป็นสมาชิกคลาสแบบอ่อน (soft class membership weights) ข้อมูลแต่ละรายการหรือเอกสารที่ไม่มีป้ายกำกับจะถูกกำหนดให้กับทุกคลาสในสัดส่วนของความน่าจะเป็นภายหลัง (posterior probability P(y | x, theta)) ค่าส่วนแบ่งเหล่านี้จะเสริมค่าการนับแบบแข็ง (hard counts) จากข้อมูลที่มีป้ายกำกับ

สูตร
P(y_i | x_i, \theta) = \frac{P(y_i|\theta)\,P(x_i|y_i,\theta)}{\sum_c P(c|\theta)\,P(x_i|c,\theta)}
3

ประมาณค่าพารามิเตอร์ของแบบจำลองทั้งหมดใหม่ — ความน่าจะเป็นก่อนของคลาสและความควรจะเป็นของคุณลักษณะ — โดยการรวมค่าการนับแบบแข็งจากข้อมูลที่มีป้ายกำกับเข้ากับค่าการนับแบบส่วนแบ่งที่สะสมใน E-step ข้อมูลที่ไม่มีป้ายกำกับจะถูกนำมาใช้ตามสัดส่วนของน้ำหนักคลาสที่ประมาณได้ ดังนั้นข้อมูลที่ไม่มีป้ายกำกับที่มีสารสนเทศจะส่งผลต่อการเปลี่ยนแปลงพารามิเตอร์อย่างมีความหมาย

4

ทำซ้ำ E-step และ M-step จนกระทั่งค่า log-likelihood ของข้อมูลทั้งหมด (ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ) ลู่เข้า (converges) หรือถึงจำนวนรอบสูงสุดที่กำหนดไว้ พารามิเตอร์น้ำหนัก (hyperparameter) lambda สามารถใช้ลดน้ำหนักการมีส่วนร่วมของข้อมูลที่ไม่มีป้ายกำกับได้ หากการกระจายของข้อมูลที่ไม่มีป้ายกำกับแตกต่างจากข้อมูลที่มีป้ายกำกับ เพื่อป้องกันการถ่ายโอนเชิงลบ (negative transfer)

5

เมื่อลู่เข้าแล้ว ให้จำแนกประเภทข้อมูลใหม่โดยใช้กฎ Naive Bayes มาตรฐาน: กำหนดคลาสที่มีความน่าจะเป็นภายหลังสูงสุดภายใต้พารามิเตอร์ที่เรียนรู้ การอนุมานขณะทำงาน (runtime inference) จะเหมือนกับ Naive Bayes ทั่วไป — รวดเร็ว มีรูปแบบปิด (closed-form) และเหมาะสมสำหรับชุดเอกสารขนาดใหญ่

สูตร
\hat{y} = \arg\max_c\, P(c)\prod_j P(x_j|c)

ข้อผิดพลาดที่พบบ่อย

  • การละเลยความไม่ตรงกันของการกระจายระหว่างชุดข้อมูลที่มีป้ายกำกับและไม่มีป้ายกำกับ — ควรตรวจสอบเสมอว่าตัวอย่างทั้งสองมาจากงานและโดเมนเดียวกัน
  • การละเว้นการปรับจูน lambda เมื่อคุณภาพของข้อมูลที่ไม่มีป้ายกำกับไม่แน่นอน การใช้ค่าเริ่มต้น lambda=1 อาจทำให้ประสิทธิภาพลดลง
  • การประเมินผลเฉพาะบนชุดข้อมูลที่มีป้ายกำกับที่ใช้ฝึกอบรมโดยไม่มีชุดทดสอบที่แยกไว้ ซึ่งจะทำให้ความแม่นยำที่ปรากฏสูงเกินจริง
  • การปฏิบัติต่อการลู่เข้าของ EM ว่าเป็นการหาค่าที่เหมาะสมที่สุดเสมอ — ควรเปรียบเทียบกับแบบจำลองที่ใช้เฉพาะข้อมูลที่มีป้ายกำกับ และแบบจำลองการฝึกตนเองแบบง่ายเสมอ
  • การลืมการปรับให้เรียบแบบลาปลาซ ซึ่งทำให้เกิดข้อผิดพลาดความน่าจะเป็นเป็นศูนย์สำหรับค่าของคุณลักษณะที่ไม่เคยพบมาก่อนในระหว่าง E-step

คำถามที่พบบ่อย

ฉันต้องการข้อมูลที่มีป้ายกำกับจำนวนเท่าใดจึงจะได้แบบจำลองเริ่มต้นที่ดี?

เพียง 10-50 รายการต่อคลาสก็เพียงพอสำหรับข้อความที่มีคุณลักษณะจำนวนมาก โดยใช้การปรับให้เรียบแบบลาปลาซ ข้อมูลที่มีป้ายกำกับมากขึ้นย่อมดีเสมอ แต่แนวทางแบบกึ่งกำกับดูแลจะโดดเด่นเป็นพิเศษเมื่อคุณมีอินสแตนซ์ที่มีป้ายกำกับน้อยกว่าหลักร้อย

พารามิเตอร์ lambda คืออะไร และฉันจะปรับจูนได้อย่างไร?

Lambda ควบคุมน้ำหนักที่ข้อมูลที่ไม่มีป้ายกำกับได้รับเมื่อเทียบกับข้อมูลที่มีป้ายกำกับในระหว่าง M-step (lambda=1 ถือว่าเท่ากัน; lambda=0 ไม่สนใจ) ปรับจูนโดยใช้การตรวจสอบไขว้ (cross-validation) บนชุดข้อมูลที่มีป้ายกำกับ โดยเริ่มจากค่าใน {0.1, 0.3, 0.5, 1.0} ลดค่า lambda เมื่อสงสัยว่ามีการกระจายไม่ตรงกัน

EM จะปรับปรุงแบบจำลอง Naive Bayes ที่ใช้เฉพาะข้อมูลที่มีป้ายกำกับเสมอหรือไม่?

ไม่ หากข้อมูลที่ไม่มีป้ายกำกับมาจากชุดการกระจายที่แตกต่างกัน EM อาจทำให้พารามิเตอร์เคลื่อนไปในทิศทางที่ผิดและเพิ่มข้อผิดพลาด ควรเปรียบเทียบกับแบบจำลองที่ใช้เฉพาะข้อมูลที่มีป้ายกำกับก่อนนำแบบจำลองกึ่งกำกับดูแลไปใช้งานเสมอ

สิ่งนี้แตกต่างจาก self-training ด้วย Naive Bayes อย่างไร?

Self-training กำหนดป้ายกำกับแบบแข็งให้กับข้อมูลที่ไม่มีป้ายกำกับที่เกินเกณฑ์ความเชื่อมั่น จากนั้นจึงฝึกอบรมใหม่ Naive Bayes แบบกึ่งกำกับดูแลผ่าน EM กำหนดป้ายกำกับแบบอ่อน (soft labels) ให้กับข้อมูลที่ไม่มีป้ายกำกับทั้งหมดในแต่ละรอบ ซึ่งมีความเป็นหลักการทางสถิติมากกว่า และหลีกเลี่ยงการเกิดข้อผิดพลาดแบบต่อเนื่องที่เกิดจากความเชื่อมั่นสูงซึ่งอาจเกิดขึ้นใน self-training

เหมาะสำหรับข้อมูลตารางที่ไม่ใช่ข้อความหรือไม่?

ใช่ สำหรับคุณลักษณะต่อเนื่อง ให้แทนที่ความควรจะเป็นแบบพหุนามด้วยความควรจะเป็นแบบเกาส์เซียน (หรือแบบพารามิเตอร์อื่น ๆ) ต่อคลาส โครงสร้างลูป EM จะเหมือนกัน เฉพาะสูตรการคำนวณพารามิเตอร์ใน M-step เท่านั้นที่จะเปลี่ยนแปลง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Nigam, K., McCallum, A. K., Thrun, S., & Mitchell, T. (2000). Text Classification from Labeled and Unlabeled Documents using EM. Machine Learning, 39(2–3), 103–134.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Chapelle, O., Scholkopf, B., & Zien, A. (Eds.). (2006). Semi-Supervised Learning. MIT Press.

    ISBN: 978-0-262-03358-9
    คัดลอกแล้ว