Naive Bayes
- ผู้เสนอ
- Mitchell, T. M. (textbook treatment)
- ปี
- 1997
- ประเภท
- Probabilistic classifier (Bayes' theorem with conditional independence)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Naive Bayes เป็นตัวจำแนกความน่าจะเป็นที่รวดเร็ว ซึ่งประยุกต์ใช้ทฤษฎีบทของเบย์ โดยสมมติว่าคุณลักษณะต่างๆ มีความเป็นอิสระต่อกันภายใต้เงื่อนไขที่กำหนดโดยคลาส ซึ่งเป็นวิธีการที่ได้รับการปฏิบัติมาตรฐานในแมชชีนเลิร์นนิงในตำรา Machine Learning ของ Tom Mitchell ปี 1997 แม้จะมีการสมมติฐานที่เรียบง่าย ('naive') นี้ แต่ก็สามารถฝึกฝนได้อย่างรวดเร็วและมักจะมีความแม่นยำอย่างน่าทึ่ง
แนวคิดเบื้องหลังวิธีการ
แทนที่จะเรียนรู้ปฏิสัมพันธ์ที่ซับซ้อนระหว่างคุณลักษณะต่างๆ Naive Bayes จะถามคำถามที่ง่ายกว่า: เมื่อกำหนดแต่ละคลาสแล้ว คุณลักษณะแต่ละค่ามีความน่าจะเป็นเท่าใดเมื่อพิจารณาแยกกัน? จากนั้นจึงคูณค่าความน่าจะเป็นต่อคุณลักษณะเหล่านี้เข้ากับอัตราฐานของคลาส และเลือกคลาสที่มีความน่าจะเป็นสูงสุด การสมมติว่าคุณลักษณะต่างๆ ไม่ได้มีปฏิสัมพันธ์กัน ทำให้การคำนวณง่ายมาก และการฝึกฝนรวดเร็วอย่างยิ่ง และในทางปฏิบัติ ตัวจำแนกที่ได้ยังคงจัดอันดับคลาสได้ดี แม้ว่าสมมติฐานความเป็นอิสระจะไม่เป็นจริงอย่างเคร่งครัดก็ตาม
ประวัติศาสตร์
ตัวจำแนก Naive Bayes พัฒนามาจากทฤษฎีการตัดสินใจแบบเบย์แบบดั้งเดิม และกลายเป็นส่วนสำคัญของแมชชีนเลิร์นนิงประยุกต์ โดยเฉพาะอย่างยิ่งสำหรับงานจำแนกข้อความ เช่น การกรองสแปม วิธีการนี้ได้รับการปฏิบัติในตำรามาตรฐานในหนังสือ Machine Learning ของ Tom Mitchell ปี 1997 ซึ่งนำเสนอสูตรทฤษฎีบทของเบย์และสมมติฐานความเป็นอิสระภายใต้เงื่อนไขที่ทำให้ตัวจำแนกได้รับชื่อ
ควรใช้เมื่อใด
เหมาะสมสำหรับการจำแนกอย่างรวดเร็วเมื่อคุณมีคุณลักษณะที่เป็นหมวดหมู่, ทวิภาคี, ต่อเนื่อง หรือข้อความ และมีการสังเกตการณ์อย่างน้อยประมาณ 30 รายการ โดยเฉพาะอย่างยิ่งในฐานะตัวจำแนกพื้นฐานที่แข็งแกร่งและมีต้นทุนต่ำ มีข้อสมมติฐานน้อยเกี่ยวกับการกระจายตัวโดยรวม แต่แต่ละรูปแบบมีข้อสมมติฐานความน่าจะเป็นของตนเอง (เช่น การกระจายตัวปกติภายในคลาสสำหรับรูปแบบ Gaussian) และมีความอ่อนไหวต่อความไม่สมดุลของคลาส เมื่อคุณลักษณะมีความสัมพันธ์กันอย่างมาก หรือคุณต้องการการประมาณค่าผลกระทบที่ปรับเทียบแล้ว ควรเลือกใช้ logistic regression
ข้อจำกัดและข้อควรพิจารณา
- สมมติฐานความเป็นอิสระภายใต้เงื่อนไขไม่ค่อยเป็นจริง ดังนั้นการประมาณค่าความน่าจะเป็นอาจปรับเทียบได้ไม่ดี แม้ว่าการจัดอันดับจะดีก็ตาม
- อ่อนไหวต่อความไม่สมดุลของคลาส: ต้องปรับความน่าจะเป็นก่อนหน้า หรือสุ่มตัวอย่างข้อมูลใหม่
- Gaussian Naive Bayes ประสิทธิภาพลดลงเมื่อสมมติฐานการกระจายตัวปกติภายในคลาสถูกละเมิด
- ไม่น่าเชื่อถือเมื่อมีตัวอย่างขนาดเล็กมาก ซึ่งการประมาณค่าความน่าจะเป็นต่อคลาสไม่น่าเชื่อถือ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- รวดเร็วอย่างยิ่งในการฝึกฝนและทำนาย แม้ในข้อมูลขนาดใหญ่หรือข้อมูลมิติสูง เช่น ข้อความ
- ทำงานได้ดีในฐานะตัวจำแนกพื้นฐานที่เรียบง่ายและมีต้นทุนต่ำ และมักจะให้ผลลัพธ์ที่น่าพอใจอย่างน่าประหลาดใจ แม้จะสมมติฐานแบบ naive
- จัดการคุณลักษณะที่เป็นหมวดหมู่, ทวิภาคี, ต่อเนื่อง และข้อความ ผ่านรูปแบบต่างๆ
- ต้องการข้อมูลการฝึกอบรมค่อนข้างน้อยในการประมาณค่าพารามิเตอร์
การประยุกต์ใช้
- การจำแนกข้อความ เช่น การกรองสแปมและการจัดหมวดหมู่เอกสาร
- การจำแนกพื้นฐานที่รวดเร็วก่อนที่จะลองใช้โมเดลที่ซับซ้อนกว่า
- การจำแนกด้วยคุณลักษณะที่เป็นหมวดหมู่, ทวิภาคี, ต่อเนื่อง หรือจำนวน
- ปัญหาที่มีมิติสูงซึ่งความเร็วในการฝึกฝนมีความสำคัญ
วิธีการทำงาน
วิธีการทำงาน
ตามทฤษฎีบทของเบย์ ความน่าจะเป็นของคลาสเมื่อกำหนดคุณลักษณะที่สังเกตได้ จะเป็นสัดส่วนกับความน่าจะเป็นก่อนหน้าของคลาส คูณด้วยความน่าจะเป็นของคุณลักษณะเหล่านั้นภายใต้คลาสนั้น ขั้นตอน 'naive' คือการสมมติว่าคุณลักษณะต่างๆ มีความเป็นอิสระต่อกันภายใต้เงื่อนไขที่กำหนดโดยคลาส ดังนั้นความน่าจะเป็นร่วมจึงแยกออกเป็นผลคูณอย่างง่ายของความน่าจะเป็นต่อคุณลักษณะ สมมติฐานนี้ไม่ค่อยเป็นจริงในทางปฏิบัติ แต่ประสิทธิภาพของตัวจำแนกอาจแข็งแกร่งอย่างน่าทึ่ง
สูตร
P(y \mid x_1,\dots,x_p) \propto P(y)\prod_{i=1}^{p} P(x_i \mid y)จากข้อมูลการฝึกอบรม โมเดลจะประมาณค่าความน่าจะเป็นก่อนหน้าของคลาส (ความถี่ของแต่ละคลาส) และค่าความน่าจะเป็นต่อคุณลักษณะ รูปแบบความน่าจะเป็นขึ้นอยู่กับรูปแบบที่ใช้: Gaussian Naive Bayes สมมติว่าคุณลักษณะต่อเนื่องมีการกระจายตัวแบบปกติภายในแต่ละคลาส ในขณะที่ Multinomial Naive Bayes เหมาะสำหรับความถี่ของคำในบริบทของการจำแนกข้อความ และไม่ยอมรับค่าลบ เนื่องจากแต่ละคลาสจะถูกประมาณค่าแยกกัน จึงควรมีจำนวนการสังเกตการณ์เพียงพอต่อคลาส อย่างน้อยประมาณ 30 รายการโดยรวม
สำหรับการสังเกตการณ์ใหม่ โมเดลจะรวมความน่าจะเป็นก่อนหน้าเข้ากับผลคูณของความน่าจะเป็นต่อคุณลักษณะสำหรับแต่ละคลาสที่เป็นไปได้ และกำหนดคลาสที่มีความน่าจะเป็นสูงสุดที่ได้ เนื่องจากคลาสต่างๆ ถูกให้คะแนนอย่างอิสระ ชุดข้อมูลที่ไม่สมดุลอาจทำให้ผลลัพธ์เอนเอียง ดังนั้นความน่าจะเป็นก่อนหน้าควรได้รับการปรับแต่ง หรือข้อมูลควรได้รับการสุ่มตัวอย่างใหม่
สูตร
\hat{y} = \arg\max_{y} \; P(y)\prod_{i=1}^{p} P(x_i \mid y)ข้อผิดพลาดที่พบบ่อย
- การเชื่อถือค่าความน่าจะเป็นที่ทำนายได้ว่าปรับเทียบได้ดี แทนที่จะถือว่าเป็นการจัดอันดับ
- การละเลยความไม่สมดุลของคลาส แทนที่จะปรับแต่งความน่าจะเป็นก่อนหน้า หรือสุ่มตัวอย่างใหม่
- การป้อนค่าลบเข้าสู่ Multinomial Naive Bayes ซึ่งไม่ยอมรับค่าดังกล่าว
- การใช้ Gaussian Naive Bayes กับคุณลักษณะต่อเนื่องที่ไม่ใช่การกระจายตัวแบบปกติอย่างชัดเจนโดยไม่ได้ตรวจสอบ
- การรันบนชุดข้อมูลที่มีจำนวนการสังเกตการณ์ต่อคลาสน้อยเกินไป (ต่ำกว่าประมาณ 30 รายการโดยรวม)
คำถามที่พบบ่อย
ทำไมถึงเรียกว่า 'naive'?
เพราะมันสมมติว่าคุณลักษณะต่างๆ มีความเป็นอิสระต่อกันภายใต้เงื่อนไขที่กำหนดโดยคลาส นั่นคือ การรู้คุณลักษณะหนึ่งไม่ได้บอกอะไรเกี่ยวกับคุณลักษณะอื่นภายในคลาส ซึ่งไม่ค่อยเป็นจริงในทางปฏิบัติ แต่การทำให้ง่ายขึ้นทำให้โมเดลสามารถประมาณค่าได้ง่ายและทำงานได้รวดเร็ว และตัวจำแนกมักจะยังคงจัดอันดับคลาสได้อย่างแม่นยำ
ควรใช้รูปแบบใด?
Gaussian Naive Bayes สำหรับคุณลักษณะต่อเนื่องที่สมมติว่ามีการกระจายตัวแบบปกติภายในแต่ละคลาส Multinomial Naive Bayes เหมาะสำหรับข้อมูลจำนวนหรือความถี่ของคำ เช่น ในการจำแนกข้อความ และไม่ยอมรับค่าลบ เลือกรูปแบบให้ตรงกับประเภทคุณลักษณะของคุณ
ฉันสามารถเชื่อถือค่าความน่าจะเป็นที่ทำนายได้หรือไม่?
ใช้คลาสที่ทำนายได้ด้วยความระมัดระวังในฐานะการจัดอันดับ เนื่องจากสมมติฐานความเป็นอิสระมักถูกละเมิด ค่าความน่าจะเป็นดิบมีแนวโน้มที่จะถูกผลักไปทาง 0 หรือ 1 และมักจะปรับเทียบได้ไม่ดี แม้ว่าคลาสที่เลือกจะถูกต้องก็ตาม
ต้องใช้ข้อมูลเท่าใด?
ประหยัดข้อมูล แต่คุณยังคงต้องการจำนวนการสังเกตการณ์ต่อคลาสที่เพียงพอ อย่างน้อยประมาณ 30 รายการโดยรวม เพื่อให้สามารถประมาณค่าความน่าจะเป็นก่อนหน้าของคลาสและความน่าจะเป็นต่อคุณลักษณะได้อย่างน่าเชื่อถือ ต่ำกว่านั้น logistic regression เป็นตัวเลือกที่ปลอดภัยกว่า
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
ISBN: 978-0070428072คัดลอกแล้ว