Skip to content
กลับไปยังผลการค้นหา

นาอีฟเบย์สแบบออนไลน์

ผู้เสนอ
Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
ปี
2000s
ประเภท
Probabilistic classifier (online/incremental)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

นาอีฟเบย์สแบบออนไลน์ (Online Naive Bayes) เป็นการปรับปรุงแบบเพิ่มพูน (incremental adaptation) ของตัวจำแนกประเภทนาอีฟเบย์สแบบดั้งเดิม ซึ่งจะปรับปรุงสถิติความน่าจะเป็นแบบมีเงื่อนไข (class-conditional statistics) ทีละหนึ่งข้อมูล (หรือหนึ่งมินิแบทช์) ทำให้เหมาะสำหรับสตรีมข้อมูล ชุดข้อมูลขนาดใหญ่มากที่ไม่สามารถเก็บไว้ในหน่วยความจำได้ และสถานการณ์ที่แบบจำลองต้องปรับตัวอย่างต่อเนื่องเมื่อมีตัวอย่างที่มีป้ายกำกับใหม่เข้ามา

แนวคิดเบื้องหลังวิธีการ

นาอีฟเบย์สแบบคลาสสิกจะอ่านข้อมูลการฝึกทั้งหมดในครั้งเดียว คำนวณความน่าจะเป็นก่อน (class priors) และความน่าจะเป็นของลักษณะ (feature likelihoods) จากนั้นจึงตรึงพารามิเตอร์ ในทางกลับกัน นาอีฟเบย์สแบบออนไลน์จะรักษาสถิติที่เพียงพอ (sufficient statistics) ที่กำลังดำเนินอยู่ (ค่าเฉลี่ย ความแปรปรวน ความถี่ของลักษณะ) ซึ่งจะได้รับการปรับปรุงแบบเพิ่มพูนด้วยตัวอย่างใหม่แต่ละรายการ เนื่องจากข้อสมมติฐานความเป็นอิสระของนาอีฟเบย์ส (conditional independence assumption) หมายความว่าความน่าจะเป็นจะแยกออกเป็นส่วนๆ ตามลักษณะแต่ละรายการ สถิติของแต่ละลักษณะจึงสามารถปรับปรุงได้อย่างอิสระและมีต้นทุนต่ำ ทำให้แบบจำลองนี้เหมาะสำหรับการเรียนรู้แบบผ่านครั้งเดียว (one-pass learning) บนสตรีมโดยไม่สูญเสียกลไกการทำนายความน่าจะเป็น

ประวัติศาสตร์

นาอีฟเบย์สมีรากฐานมาจากสถิติแบบเบย์เซียนย้อนกลับไปในศตวรรษที่ 18 แต่การใช้งานในฐานะตัวจำแนกข้อความได้รับความนิยมในช่วงทศวรรษที่ 1990 (เช่น McCallum & Nigam, 1998) รูปแบบออนไลน์/เพิ่มพูนได้รับความสนใจอย่างเป็นระบบจากชุมชนการทำเหมืองข้อมูลสตรีมในช่วงต้นทศวรรษ 2000 โดยเฉพาะอย่างยิ่งจากงานของ Domingos และ Hulten เกี่ยวกับการทำเหมืองข้อมูลสตรีมความเร็วสูง (KDD 2000) ปัจจุบันเป็นส่วนประกอบมาตรฐานของชุดเครื่องมือประมวลผลสตรีม และมีให้ใช้งานโดยตรงใน scikit-learn ผ่าน API partial_fit

ควรใช้เมื่อใด

ใช้ นาอีฟเบย์สแบบออนไลน์ เมื่อข้อมูลมาถึงในรูปแบบสตรีม หรือมีขนาดใหญ่เกินกว่าจะโหลดเข้าหน่วยความจำได้ทั้งหมดในครั้งเดียว เมื่อต้องการการอัปเดตแบบเพิ่มพูนที่รวดเร็วและใช้หน่วยความจำน้อย หรือเมื่อแบบจำลองต้องปรับตัวอย่างต่อเนื่องกับตัวอย่างใหม่ (เช่น การจำแนกข้อความจากฟีดสด การกรองสแปม หรือการจำแนกเหตุการณ์ในไปป์ไลน์ IoT) นอกจากนี้ยังเป็นเกณฑ์มาตรฐานที่แข็งแกร่งสำหรับข้อมูลข้อความที่มีมิติสูงและเบาบาง (bag-of-words, TF-IDF) ในสภาพแวดล้อมแบบสตรีม อย่าใช้เมื่อข้อสมมติฐานความเป็นอิสระถูกละเมิดอย่างรุนแรง และมีข้อมูลเพียงพอที่จะฝึกแบบจำลองที่แสดงออกได้มากกว่าในโหมดแบทช์ เมื่อลักษณะมีความสัมพันธ์กันสูงและการจับปฏิสัมพันธ์มีความสำคัญ หรือเมื่อการกระจายตัวของคลาสมีความไม่สมดุลอย่างมากโดยไม่มีการแก้ไข

ข้อจำกัดและข้อควรพิจารณา

  • ข้อสมมติฐานความเป็นอิสระแบบนาอีฟมักไม่เป็นจริงเสมอไป และอาจส่งผลต่อความแม่นยำเมื่อลักษณะมีความสัมพันธ์กันอย่างมาก
  • ไม่สามารถเรียนรู้ปฏิสัมพันธ์ระหว่างลักษณะได้ แต่ละลักษณะมีส่วนร่วมอย่างอิสระต่อความน่าจะเป็นภายหลัง
  • การเปลี่ยนแปลงแนวคิด (Concept drift) ต้องการกลไกการลืมที่ชัดเจน (เช่น หน้าต่างเลื่อน (sliding windows) ปัจจัยการลดทอน (decay factors)) เนื่องจากแบบจำลองเริ่มต้นจะสะสมหลักฐานทั้งหมดในอดีต
  • นาอีฟเบย์สแบบเกาส์เซียนตั้งสมมติฐานว่าการกระจายตัวของลักษณะต่อคลาสเป็นแบบ unimodal และใกล้เคียงแบบเกาส์เซียน ซึ่งอาจไม่เป็นจริง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมวลผลทีละตัวอย่างด้วยต้นทุนการอัปเดต O(1) ต่อลักษณะ ทำให้รวดเร็วและประหยัดหน่วยความจำอย่างยิ่งสำหรับข้อมูลสตรีม
  • มีความน่าจะเป็นตามธรรมชาติ: ให้ผลลัพธ์ความน่าจะเป็นภายหลังของคลาสที่ปรับเทียบแล้ว ไม่ใช่แค่ป้ายกำกับที่แน่นอน
  • ปรับขนาดได้สำหรับปริภูมิคุณลักษณะที่มีมิติสูงมาก (เช่น ข้อความ) โดยไม่มีผลกระทบด้านความเร็วอย่างมีนัยสำคัญ
  • ไม่จำเป็นต้องจัดเก็บข้อมูลในอดีต แบบจำลองถูกกำหนดโดยสถิติที่เพียงพอทั้งหมด
  • ง่ายต่อการนำไปใช้และทำความเข้าใจ ข้อสมมติฐานความเป็นอิสระมักทำงานได้ดีกว่าที่คาดไว้ในทางปฏิบัติ

การประยุกต์ใช้

  • การตรวจจับสแปมและฟิชชิ่งแบบเรียลไทม์บนสตรีมอีเมลหรือข้อความ
  • การจำแนกข้อความแบบเพิ่มพูนบนฟีดข่าวสดหรือโซเชียลมีเดีย
  • การจำแนกเหตุการณ์เซ็นเซอร์ในระบบ IoT ที่ข้อมูลมาถึงอย่างต่อเนื่อง
  • ตัวจำแนกประเภทพื้นฐานสำหรับปริภูมิคุณลักษณะ bag-of-words หรือ TF-IDF ที่มีมิติสูง
  • การวิเคราะห์ความรู้สึกแบบออนไลน์บนสตรีมรีวิวลูกค้าหรือโพสต์โซเชียล
  • งานจำแนกประเภทใดๆ ที่มีขนาดใหญ่เกินกว่าจะเก็บไว้ในหน่วยความจำได้ และยอมรับแบบจำลองความน่าจะเป็นที่รวดเร็วได้

วิธีการทำงาน

วิธีการทำงาน

1

ความน่าจะเป็นก่อนของคลาส P(C_k) = N_k / N จะเริ่มต้นจากข้อมูลที่มีป้ายกำกับที่มีอยู่ ณ จุดเริ่มต้น (หรือตั้งค่าให้เป็นแบบสม่ำเสมอ) สถิติที่เพียงพอต่อลักษณะ — จำนวนนับสำหรับลักษณะเชิงหมวดหมู่ (categorical features) ค่าเฉลี่ยและความแปรปรวนที่กำลังดำเนินอยู่สำหรับลักษณะแบบเกาส์เซียน (Gaussian features) — จะเริ่มต้นในลักษณะเดียวกัน

สูตร
P(C_k) = N_k / N
2

เมื่อตัวอย่างที่มีป้ายกำกับใหม่ (x, y) มาถึง จำนวนนับของคลาส y (N_y) จะเพิ่มขึ้นหนึ่ง และสถิติที่เพียงพอสำหรับแต่ละลักษณะ x_i ภายใต้คลาส y จะได้รับการปรับปรุง: จำนวนนับจะเพิ่มขึ้นสำหรับลักษณะแบบเบอร์นูลลี (Bernoulli) หรือพหุนาม (Multinomial) และค่าเฉลี่ยและความแปรปรวนที่กำลังดำเนินอยู่จะได้รับการปรับปรุงโดยใช้อัลกอริทึมออนไลน์ของ Welford สำหรับลักษณะแบบเกาส์เซียน ไม่จำเป็นต้องกลับไปดูตัวอย่างเก่า

3

ในเวลาที่ทำการทำนาย (หรือหลังจากการอัปเดตแต่ละครั้ง) ความน่าจะเป็นของลักษณะต่อคลาส P(x_i | C_k) จะถูกคำนวณจากสถิติที่เพียงพอในปัจจุบัน สำหรับนาอีฟเบย์สแบบเกาส์เซียน จะมีการประเมินฟังก์ชันความหนาแน่นความน่าจะเป็นแบบเกาส์เซียน (Gaussian PDF) สำหรับรูปแบบพหุนามหรือเบอร์นูลลี จะใช้การปรับให้เรียบของอัตราส่วนความถี่ (smoothed frequency ratios)

สูตร
P(x_i | C_k)
4

ความน่าจะเป็นภายหลัง (posterior probability) สำหรับแต่ละคลาสจะถูกคำนวณเป็นผลคูณของความน่าจะเป็นก่อนของคลาสและลักษณะทั้งหมดต่อคลาส จากนั้นจะส่งคืนคลาสที่มีความน่าจะเป็นภายหลังสูงสุด ในทางปฏิบัติ เนื่องจากมีการใช้ลอการิทึม จึงกลายเป็นการบวกและหลีกเลี่ยงปัญหาค่าต่ำสุดของตัวเลข (numerical underflow)

สูตร
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)

ข้อผิดพลาดที่พบบ่อย

  • การลืมใช้การปรับให้เรียบแบบลาปลาซ (Laplace smoothing หรือ add-one smoothing) สำหรับรูปแบบพหุนาม/เบอร์นูลลี ซึ่งทำให้เกิดปัญหาความน่าจะเป็นเป็นศูนย์สำหรับค่าลักษณะที่ไม่เคยพบเห็น
  • การละเลยการเปลี่ยนแปลงแนวคิด: หากไม่มีกลยุทธ์การลืมหรือการใช้หน้าต่าง แบบจำลองจะล้าสมัยไปอย่างช้าๆ บนสตรีมที่ไม่คงที่
  • การใช้ นาอีฟเบย์สแบบเกาส์เซียน สำหรับข้อมูลการนับ (เช่น จำนวนคำ) แทน นาอีฟเบย์สแบบพหุนาม
  • การปฏิบัติต่อความน่าจะเป็นของแบบจำลองราวกับว่าได้รับการปรับเทียบอย่างสมบูรณ์โดยไม่ได้ตรวจสอบ การปรับเทียบแบบไอโซโทนิก (isotonic regression) หรือการปรับเทียบแบบพลัตต์ (Platt scaling) อาจจำเป็น
  • การประเมินเฉพาะความแม่นยำเมื่อมีความไม่สมดุลของคลาส ให้ใช้ความแม่นยำ (precision) การเรียกคืน (recall) และ F1 ต่อคลาส

คำถามที่พบบ่อย

นาอีฟเบย์สแบบออนไลน์จัดการกับการเปลี่ยนแปลงแนวคิด (concept drift) อย่างไร?

โดยค่าเริ่มต้นจะสะสมหลักฐานทั้งหมด ดังนั้นจึงปรับตัวช้าต่อการเปลี่ยนแปลง หากต้องการตอบสนองเร็วขึ้น ให้ใช้หน้าต่างเลื่อน (นับเฉพาะตัวอย่างล่าสุด) การลืมแบบเอ็กซ์โพเนนเชียล (ให้น้ำหนักการสังเกตเก่าๆ น้อยลง) หรือรีเซ็ตสถิติที่เพียงพอเมื่อตรวจพบการเปลี่ยนแปลง

ควรใช้รูปแบบใด — เกาส์เซียน พหุนาม หรือเบอร์นูลลี?

ใช้ นาอีฟเบย์สแบบพหุนาม หรือ เบอร์นูลลี สำหรับข้อความ (เวกเตอร์คุณลักษณะแบบนับหรือแบบไบนารี) และ นาอีฟเบย์สแบบเกาส์เซียน สำหรับคุณลักษณะต่อเนื่องที่กระจายตัวแบบปกติโดยประมาณภายในแต่ละคลาส ตรรกะการอัปเดตแบบออนไลน์แตกต่างกันเล็กน้อย แต่ทุกรูปแบบรองรับการอัปเดตแบบเพิ่มพูน

นาอีฟเบย์สแบบออนไลน์สามารถแข่งขันกับแบบจำลองออนไลน์ที่ซับซ้อนกว่าได้หรือไม่?

บนข้อมูลข้อความที่มีมิติสูงและเบาบาง มักจะสามารถแข่งขันกับ logistic regression แบบออนไลน์หรือ SVM แบบออนไลน์ได้ โดยมีต้นทุนการคำนวณที่ต่ำกว่า บนชุดข้อมูลที่มีมิติไม่สูงมาก หนาแน่น หรือมีลักษณะที่สัมพันธ์กันสูง logistic regression แบบออนไลน์หรือ gradient boosting มักจะให้ผลลัพธ์ที่ดีกว่า

ควรประเมินตัวจำแนกประเภทออนไลน์อย่างไร?

ใช้การประเมินแบบ prequential (ทดสอบก่อนฝึก): ทำนายแต่ละตัวอย่างก่อนที่จะอัปเดตแบบจำลอง จากนั้นจึงอัปเดต วิธีนี้ให้การประมาณประสิทธิภาพของสตรีมที่ไม่เอนเอียง โดยไม่ต้องใช้ชุดข้อมูลสำรองแยกต่างหาก

สามารถเริ่มต้น นาอีฟเบย์สแบบออนไลน์ จากแบบจำลองที่ฝึกแบบแบทช์ได้หรือไม่?

ได้ ฝึกแบบจำลองนาอีฟเบย์สแบบแบทช์บนชุดข้อมูลเริ่มต้นเพื่อให้ได้สถิติที่เพียงพอเริ่มต้นที่ดี จากนั้นจึงเปลี่ยนไปใช้อัปเดตแบบเพิ่มพูน วิธีการเริ่มต้นแบบอุ่นเครื่อง (warm-start) นี้จะหลีกเลี่ยงความไม่แม่นยำในช่วงเริ่มต้น (cold-start) ของแบบจำลองที่เริ่มต้นแบบสุ่ม

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Online machine learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว