นาอีฟเบย์สแบบออนไลน์
- ผู้เสนอ
- Adapted from traditional Naive Bayes; incremental form established by the data-stream mining community (Domingos, Hulten, and others, circa 2000)
- ปี
- 2000s
- ประเภท
- Probabilistic classifier (online/incremental)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
นาอีฟเบย์สแบบออนไลน์ (Online Naive Bayes) เป็นการปรับปรุงแบบเพิ่มพูน (incremental adaptation) ของตัวจำแนกประเภทนาอีฟเบย์สแบบดั้งเดิม ซึ่งจะปรับปรุงสถิติความน่าจะเป็นแบบมีเงื่อนไข (class-conditional statistics) ทีละหนึ่งข้อมูล (หรือหนึ่งมินิแบทช์) ทำให้เหมาะสำหรับสตรีมข้อมูล ชุดข้อมูลขนาดใหญ่มากที่ไม่สามารถเก็บไว้ในหน่วยความจำได้ และสถานการณ์ที่แบบจำลองต้องปรับตัวอย่างต่อเนื่องเมื่อมีตัวอย่างที่มีป้ายกำกับใหม่เข้ามา
แนวคิดเบื้องหลังวิธีการ
นาอีฟเบย์สแบบคลาสสิกจะอ่านข้อมูลการฝึกทั้งหมดในครั้งเดียว คำนวณความน่าจะเป็นก่อน (class priors) และความน่าจะเป็นของลักษณะ (feature likelihoods) จากนั้นจึงตรึงพารามิเตอร์ ในทางกลับกัน นาอีฟเบย์สแบบออนไลน์จะรักษาสถิติที่เพียงพอ (sufficient statistics) ที่กำลังดำเนินอยู่ (ค่าเฉลี่ย ความแปรปรวน ความถี่ของลักษณะ) ซึ่งจะได้รับการปรับปรุงแบบเพิ่มพูนด้วยตัวอย่างใหม่แต่ละรายการ เนื่องจากข้อสมมติฐานความเป็นอิสระของนาอีฟเบย์ส (conditional independence assumption) หมายความว่าความน่าจะเป็นจะแยกออกเป็นส่วนๆ ตามลักษณะแต่ละรายการ สถิติของแต่ละลักษณะจึงสามารถปรับปรุงได้อย่างอิสระและมีต้นทุนต่ำ ทำให้แบบจำลองนี้เหมาะสำหรับการเรียนรู้แบบผ่านครั้งเดียว (one-pass learning) บนสตรีมโดยไม่สูญเสียกลไกการทำนายความน่าจะเป็น
ประวัติศาสตร์
นาอีฟเบย์สมีรากฐานมาจากสถิติแบบเบย์เซียนย้อนกลับไปในศตวรรษที่ 18 แต่การใช้งานในฐานะตัวจำแนกข้อความได้รับความนิยมในช่วงทศวรรษที่ 1990 (เช่น McCallum & Nigam, 1998) รูปแบบออนไลน์/เพิ่มพูนได้รับความสนใจอย่างเป็นระบบจากชุมชนการทำเหมืองข้อมูลสตรีมในช่วงต้นทศวรรษ 2000 โดยเฉพาะอย่างยิ่งจากงานของ Domingos และ Hulten เกี่ยวกับการทำเหมืองข้อมูลสตรีมความเร็วสูง (KDD 2000) ปัจจุบันเป็นส่วนประกอบมาตรฐานของชุดเครื่องมือประมวลผลสตรีม และมีให้ใช้งานโดยตรงใน scikit-learn ผ่าน API partial_fit
ควรใช้เมื่อใด
ใช้ นาอีฟเบย์สแบบออนไลน์ เมื่อข้อมูลมาถึงในรูปแบบสตรีม หรือมีขนาดใหญ่เกินกว่าจะโหลดเข้าหน่วยความจำได้ทั้งหมดในครั้งเดียว เมื่อต้องการการอัปเดตแบบเพิ่มพูนที่รวดเร็วและใช้หน่วยความจำน้อย หรือเมื่อแบบจำลองต้องปรับตัวอย่างต่อเนื่องกับตัวอย่างใหม่ (เช่น การจำแนกข้อความจากฟีดสด การกรองสแปม หรือการจำแนกเหตุการณ์ในไปป์ไลน์ IoT) นอกจากนี้ยังเป็นเกณฑ์มาตรฐานที่แข็งแกร่งสำหรับข้อมูลข้อความที่มีมิติสูงและเบาบาง (bag-of-words, TF-IDF) ในสภาพแวดล้อมแบบสตรีม อย่าใช้เมื่อข้อสมมติฐานความเป็นอิสระถูกละเมิดอย่างรุนแรง และมีข้อมูลเพียงพอที่จะฝึกแบบจำลองที่แสดงออกได้มากกว่าในโหมดแบทช์ เมื่อลักษณะมีความสัมพันธ์กันสูงและการจับปฏิสัมพันธ์มีความสำคัญ หรือเมื่อการกระจายตัวของคลาสมีความไม่สมดุลอย่างมากโดยไม่มีการแก้ไข
ข้อจำกัดและข้อควรพิจารณา
- ข้อสมมติฐานความเป็นอิสระแบบนาอีฟมักไม่เป็นจริงเสมอไป และอาจส่งผลต่อความแม่นยำเมื่อลักษณะมีความสัมพันธ์กันอย่างมาก
- ไม่สามารถเรียนรู้ปฏิสัมพันธ์ระหว่างลักษณะได้ แต่ละลักษณะมีส่วนร่วมอย่างอิสระต่อความน่าจะเป็นภายหลัง
- การเปลี่ยนแปลงแนวคิด (Concept drift) ต้องการกลไกการลืมที่ชัดเจน (เช่น หน้าต่างเลื่อน (sliding windows) ปัจจัยการลดทอน (decay factors)) เนื่องจากแบบจำลองเริ่มต้นจะสะสมหลักฐานทั้งหมดในอดีต
- นาอีฟเบย์สแบบเกาส์เซียนตั้งสมมติฐานว่าการกระจายตัวของลักษณะต่อคลาสเป็นแบบ unimodal และใกล้เคียงแบบเกาส์เซียน ซึ่งอาจไม่เป็นจริง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ประมวลผลทีละตัวอย่างด้วยต้นทุนการอัปเดต O(1) ต่อลักษณะ ทำให้รวดเร็วและประหยัดหน่วยความจำอย่างยิ่งสำหรับข้อมูลสตรีม
- มีความน่าจะเป็นตามธรรมชาติ: ให้ผลลัพธ์ความน่าจะเป็นภายหลังของคลาสที่ปรับเทียบแล้ว ไม่ใช่แค่ป้ายกำกับที่แน่นอน
- ปรับขนาดได้สำหรับปริภูมิคุณลักษณะที่มีมิติสูงมาก (เช่น ข้อความ) โดยไม่มีผลกระทบด้านความเร็วอย่างมีนัยสำคัญ
- ไม่จำเป็นต้องจัดเก็บข้อมูลในอดีต แบบจำลองถูกกำหนดโดยสถิติที่เพียงพอทั้งหมด
- ง่ายต่อการนำไปใช้และทำความเข้าใจ ข้อสมมติฐานความเป็นอิสระมักทำงานได้ดีกว่าที่คาดไว้ในทางปฏิบัติ
การประยุกต์ใช้
- การตรวจจับสแปมและฟิชชิ่งแบบเรียลไทม์บนสตรีมอีเมลหรือข้อความ
- การจำแนกข้อความแบบเพิ่มพูนบนฟีดข่าวสดหรือโซเชียลมีเดีย
- การจำแนกเหตุการณ์เซ็นเซอร์ในระบบ IoT ที่ข้อมูลมาถึงอย่างต่อเนื่อง
- ตัวจำแนกประเภทพื้นฐานสำหรับปริภูมิคุณลักษณะ bag-of-words หรือ TF-IDF ที่มีมิติสูง
- การวิเคราะห์ความรู้สึกแบบออนไลน์บนสตรีมรีวิวลูกค้าหรือโพสต์โซเชียล
- งานจำแนกประเภทใดๆ ที่มีขนาดใหญ่เกินกว่าจะเก็บไว้ในหน่วยความจำได้ และยอมรับแบบจำลองความน่าจะเป็นที่รวดเร็วได้
วิธีการทำงาน
วิธีการทำงาน
ความน่าจะเป็นก่อนของคลาส P(C_k) = N_k / N จะเริ่มต้นจากข้อมูลที่มีป้ายกำกับที่มีอยู่ ณ จุดเริ่มต้น (หรือตั้งค่าให้เป็นแบบสม่ำเสมอ) สถิติที่เพียงพอต่อลักษณะ — จำนวนนับสำหรับลักษณะเชิงหมวดหมู่ (categorical features) ค่าเฉลี่ยและความแปรปรวนที่กำลังดำเนินอยู่สำหรับลักษณะแบบเกาส์เซียน (Gaussian features) — จะเริ่มต้นในลักษณะเดียวกัน
สูตร
P(C_k) = N_k / N
เมื่อตัวอย่างที่มีป้ายกำกับใหม่ (x, y) มาถึง จำนวนนับของคลาส y (N_y) จะเพิ่มขึ้นหนึ่ง และสถิติที่เพียงพอสำหรับแต่ละลักษณะ x_i ภายใต้คลาส y จะได้รับการปรับปรุง: จำนวนนับจะเพิ่มขึ้นสำหรับลักษณะแบบเบอร์นูลลี (Bernoulli) หรือพหุนาม (Multinomial) และค่าเฉลี่ยและความแปรปรวนที่กำลังดำเนินอยู่จะได้รับการปรับปรุงโดยใช้อัลกอริทึมออนไลน์ของ Welford สำหรับลักษณะแบบเกาส์เซียน ไม่จำเป็นต้องกลับไปดูตัวอย่างเก่า
ในเวลาที่ทำการทำนาย (หรือหลังจากการอัปเดตแต่ละครั้ง) ความน่าจะเป็นของลักษณะต่อคลาส P(x_i | C_k) จะถูกคำนวณจากสถิติที่เพียงพอในปัจจุบัน สำหรับนาอีฟเบย์สแบบเกาส์เซียน จะมีการประเมินฟังก์ชันความหนาแน่นความน่าจะเป็นแบบเกาส์เซียน (Gaussian PDF) สำหรับรูปแบบพหุนามหรือเบอร์นูลลี จะใช้การปรับให้เรียบของอัตราส่วนความถี่ (smoothed frequency ratios)
สูตร
P(x_i | C_k)
ความน่าจะเป็นภายหลัง (posterior probability) สำหรับแต่ละคลาสจะถูกคำนวณเป็นผลคูณของความน่าจะเป็นก่อนของคลาสและลักษณะทั้งหมดต่อคลาส จากนั้นจะส่งคืนคลาสที่มีความน่าจะเป็นภายหลังสูงสุด ในทางปฏิบัติ เนื่องจากมีการใช้ลอการิทึม จึงกลายเป็นการบวกและหลีกเลี่ยงปัญหาค่าต่ำสุดของตัวเลข (numerical underflow)
สูตร
\hat{y} = \arg\max_k P(C_k) \prod_i P(x_i | C_k)ข้อผิดพลาดที่พบบ่อย
- การลืมใช้การปรับให้เรียบแบบลาปลาซ (Laplace smoothing หรือ add-one smoothing) สำหรับรูปแบบพหุนาม/เบอร์นูลลี ซึ่งทำให้เกิดปัญหาความน่าจะเป็นเป็นศูนย์สำหรับค่าลักษณะที่ไม่เคยพบเห็น
- การละเลยการเปลี่ยนแปลงแนวคิด: หากไม่มีกลยุทธ์การลืมหรือการใช้หน้าต่าง แบบจำลองจะล้าสมัยไปอย่างช้าๆ บนสตรีมที่ไม่คงที่
- การใช้ นาอีฟเบย์สแบบเกาส์เซียน สำหรับข้อมูลการนับ (เช่น จำนวนคำ) แทน นาอีฟเบย์สแบบพหุนาม
- การปฏิบัติต่อความน่าจะเป็นของแบบจำลองราวกับว่าได้รับการปรับเทียบอย่างสมบูรณ์โดยไม่ได้ตรวจสอบ การปรับเทียบแบบไอโซโทนิก (isotonic regression) หรือการปรับเทียบแบบพลัตต์ (Platt scaling) อาจจำเป็น
- การประเมินเฉพาะความแม่นยำเมื่อมีความไม่สมดุลของคลาส ให้ใช้ความแม่นยำ (precision) การเรียกคืน (recall) และ F1 ต่อคลาส
คำถามที่พบบ่อย
นาอีฟเบย์สแบบออนไลน์จัดการกับการเปลี่ยนแปลงแนวคิด (concept drift) อย่างไร?
โดยค่าเริ่มต้นจะสะสมหลักฐานทั้งหมด ดังนั้นจึงปรับตัวช้าต่อการเปลี่ยนแปลง หากต้องการตอบสนองเร็วขึ้น ให้ใช้หน้าต่างเลื่อน (นับเฉพาะตัวอย่างล่าสุด) การลืมแบบเอ็กซ์โพเนนเชียล (ให้น้ำหนักการสังเกตเก่าๆ น้อยลง) หรือรีเซ็ตสถิติที่เพียงพอเมื่อตรวจพบการเปลี่ยนแปลง
ควรใช้รูปแบบใด — เกาส์เซียน พหุนาม หรือเบอร์นูลลี?
ใช้ นาอีฟเบย์สแบบพหุนาม หรือ เบอร์นูลลี สำหรับข้อความ (เวกเตอร์คุณลักษณะแบบนับหรือแบบไบนารี) และ นาอีฟเบย์สแบบเกาส์เซียน สำหรับคุณลักษณะต่อเนื่องที่กระจายตัวแบบปกติโดยประมาณภายในแต่ละคลาส ตรรกะการอัปเดตแบบออนไลน์แตกต่างกันเล็กน้อย แต่ทุกรูปแบบรองรับการอัปเดตแบบเพิ่มพูน
นาอีฟเบย์สแบบออนไลน์สามารถแข่งขันกับแบบจำลองออนไลน์ที่ซับซ้อนกว่าได้หรือไม่?
บนข้อมูลข้อความที่มีมิติสูงและเบาบาง มักจะสามารถแข่งขันกับ logistic regression แบบออนไลน์หรือ SVM แบบออนไลน์ได้ โดยมีต้นทุนการคำนวณที่ต่ำกว่า บนชุดข้อมูลที่มีมิติไม่สูงมาก หนาแน่น หรือมีลักษณะที่สัมพันธ์กันสูง logistic regression แบบออนไลน์หรือ gradient boosting มักจะให้ผลลัพธ์ที่ดีกว่า
ควรประเมินตัวจำแนกประเภทออนไลน์อย่างไร?
ใช้การประเมินแบบ prequential (ทดสอบก่อนฝึก): ทำนายแต่ละตัวอย่างก่อนที่จะอัปเดตแบบจำลอง จากนั้นจึงอัปเดต วิธีนี้ให้การประมาณประสิทธิภาพของสตรีมที่ไม่เอนเอียง โดยไม่ต้องใช้ชุดข้อมูลสำรองแยกต่างหาก
สามารถเริ่มต้น นาอีฟเบย์สแบบออนไลน์ จากแบบจำลองที่ฝึกแบบแบทช์ได้หรือไม่?
ได้ ฝึกแบบจำลองนาอีฟเบย์สแบบแบทช์บนชุดข้อมูลเริ่มต้นเพื่อให้ได้สถิติที่เพียงพอเริ่มต้นที่ดี จากนั้นจึงเปลี่ยนไปใช้อัปเดตแบบเพิ่มพูน วิธีการเริ่มต้นแบบอุ่นเครื่อง (warm-start) นี้จะหลีกเลี่ยงความไม่แม่นยำในช่วงเริ่มต้น (cold-start) ของแบบจำลองที่เริ่มต้นแบบสุ่ม
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Domingos, P. & Hulten, G. (2000). Mining high-speed data streams. Proceedings of the 6th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 71–80. ACM.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วOnline machine learning. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว