Skip to content
กลับไปยังผลการค้นหา

ไอโซเลชันฟอเรสต์แบบเรียนรู้เชิงรุก (Active Learning Isolation Forest)

ผู้เสนอ
Das, S. et al. (active anomaly discovery framework); Liu, F. T. et al. (Isolation Forest base)
ปี
2008–2019
ประเภท
Active learning wrapper over isolation forest anomaly detector
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Active Learning Isolation Forest ผสานพลังการให้คะแนนความผิดปกติแบบไม่มีผู้สอน (unsupervised anomaly-scoring) ของ Isolation Forest เข้ากับกลยุทธ์การสอบถาม (query strategy) แบบวนซ้ำที่ขอให้ผู้เชี่ยวชาญที่เป็นมนุษย์ติดป้ายกำกับข้อมูลที่ให้ข้อมูลมากที่สุด ผลลัพธ์คือตัวตรวจจับที่ปรับปรุงขอบเขตความผิดปกติให้แม่นยำขึ้นโดยใช้งบประมาณการติดป้ายกำกับ (labeling budget) ที่น้อยที่สุด ซึ่งช่วยเพิ่มความแม่นยำ (precision) อย่างมากต่อความผิดปกติที่หายากและละเอียดอ่อน เมื่อเทียบกับวิธีการแบบไม่มีผู้สอนเพียงอย่างเดียว

แนวคิดเบื้องหลังวิธีการ

Isolation Forest ให้คะแนนความผิดปกติโดยพิจารณาจากความเร็วที่มันถูกแยกออก (isolated) ในต้นไม้แบบสุ่ม (random trees) แต่ไม่สามารถแยกความแตกต่างระหว่างความผิดปกติที่เป็นอันตรายอย่างแท้จริงกับค่าผิดปกติ (outliers) ที่ไม่เป็นอันตรายได้หากปราศจากความรู้เฉพาะทาง (domain knowledge) การเรียนรู้เชิงรุก (Active learning) เพิ่มมนุษย์เข้ามาในวงจร (human-in-the-loop): หลังจากที่ป่า (forest) ให้คะแนนทุกอินสแตนซ์แล้ว มันจะเลือกอินสแตนซ์ที่คลุมเครือที่สุดหรือมีคะแนนสูงสุด และขอให้ผู้เชี่ยวชาญยืนยันหรือปฏิเสธป้ายกำกับความผิดปกติแต่ละรายการ ด้วยป้ายกำกับที่ยืนยันแต่ละรายการ โมเดลสามารถปรับน้ำหนักใหม่ (re-weight) หรือจัดอันดับใหม่ (re-rank) คะแนนในอนาคตได้ ตลอดหลายรอบของการป้อนกลับ แม้แต่ตัวอย่างที่ติดป้ายกำกับเพียงเล็กน้อยก็สามารถนำพาตัวตรวจจับให้ห่างจากการแจ้งเตือนที่ผิดพลาด (false alarms) ไปสู่ความผิดปกติที่แท้จริงที่น่าสนใจได้

ประวัติศาสตร์

Isolation Forest ถูกนำเสนอโดย Liu, Ting และ Zhou ที่ ICDM 2008 ในฐานะเครื่องมือตรวจจับความผิดปกติที่รวดเร็ว ปรับขนาดได้ และมีข้อสมมติน้อย (assumption-light) ซึ่งแยกความผิดปกติออกแทนที่จะสร้างแบบจำลองพฤติกรรมปกติ การเรียนรู้เชิงรุกถูกนำมาใช้กับการตรวจจับความผิดปกติอย่างเป็นระบบตั้งแต่ช่วงกลางทศวรรษ 2010 เป็นต้นมา Das และคณะ (ICDM 2019) ได้สร้างกรอบการทำงานการค้นพบความผิดปกติเชิงรุก (active anomaly discovery framework) อย่างเป็นทางการ โดยผสมผสานตัวให้คะแนนแบบเอนเซมเบิล — รวมถึง Isolation Forest — เข้ากับการป้อนกลับจากผู้เชี่ยวชาญแบบวนซ้ำ แสดงให้เห็นว่าป้ายกำกับเพียงไม่กี่รายการสามารถเทียบเคียงกับตัวตรวจจับแบบมีผู้สอนที่ฝึกบนตัวอย่างหลายร้อยรายการได้ แนวทางนี้ได้ถูกนำไปใช้ในการตรวจจับการฉ้อโกง การบุกรุก และการวิเคราะห์เซ็นเซอร์

ควรใช้เมื่อใด

ใช้ Active Learning Isolation Forest เมื่อคุณเผชิญกับงานตรวจจับความผิดปกติบนข้อมูลตาราง (tabular data) ที่ไม่มีป้ายกำกับหรือมีป้ายกำกับน้อยมาก และสามารถจัดสรรป้ายกำกับของผู้เชี่ยวชาญจำนวนเล็กน้อยได้ — โดยทั่วไปคือ 10–100 การสอบถามตลอดหลายรอบ เหมาะอย่างยิ่งสำหรับความปลอดภัยทางไซเบอร์ (cybersecurity) การตรวจจับการฉ้อโกง (fraud detection) การบำรุงรักษาเชิงพยากรณ์ (predictive maintenance) และการระบุค่าผิดปกติทางคลินิก (clinical outlier identification) ซึ่งการแจ้งเตือนที่ผิดพลาดมีค่าใช้จ่ายสูง และผู้เชี่ยวชาญเฉพาะทางสามารถตัดสินอินสแตนซ์ที่นำเสนอได้อย่างน่าเชื่อถือ อย่าใช้เมื่อไม่มีออราเคิลที่เชื่อถือได้ เมื่อแนวคิดของความผิดปกติไม่เสถียรเมื่อเวลาผ่านไป หรือเมื่อค่าใช้จ่ายในการติดป้ายกำกับต่ออินสแตนซ์สูงมากจนแม้แต่ 10 การสอบถามก็เป็นไปไม่ได้ ควรเลือกใช้ตัวจำแนกแบบมีผู้สอน (supervised classifier) เมื่อมีชุดข้อมูลที่มีป้ายกำกับจำนวนหลายร้อยรายการของความผิดปกติอยู่แล้ว

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการออราเคิลที่เชื่อถือได้และพร้อมใช้งาน หากป้ายกำกับของผู้เชี่ยวชาญมีสัญญาณรบกวน (noisy) หรือไม่สอดคล้องกัน การป้อนกลับอาจทำให้โมเดลแย่ลง
  • กลยุทธ์การสอบถามสันนิษฐานว่าการให้คะแนนพูลทั้งหมดในแต่ละรอบสามารถทำได้ ซึ่งอาจมีค่าใช้จ่ายสูงสำหรับชุดข้อมูลขนาดใหญ่มาก
  • แนวทางนี้ทำได้ยากกว่าในการทำซ้ำ (reproduce) และตรวจสอบ (audit) มากกว่า Isolation Forest แบบธรรมดา เนื่องจากโมเดลสุดท้ายขึ้นอยู่กับตัวเลือกการสอบถามเฉพาะและป้ายกำกับที่ให้มา
  • การเปลี่ยนไปของแนวคิด (concept drift) — เมื่อลักษณะของความผิดปกติเปลี่ยนแปลงไปตามกาลเวลา — จะไม่ได้รับการจัดการโดยอัตโนมัติ และอาจต้องเริ่มต้นวงจรการเรียนรู้เชิงรุกใหม่

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้ประโยชน์จากความสามารถในการปรับขนาด (scalability) และการตีความ (interpretability) ของ Isolation Forest ในขณะที่แทรกความรู้ของผู้เชี่ยวชาญด้วยความพยายามในการติดป้ายกำกับน้อยที่สุด
  • ปรับปรุงความแม่นยำอย่างมากเมื่อเทียบกับวิธีการแบบไม่มีผู้สอนโดยสิ้นเชิง ลดการแจ้งเตือนที่ผิดพลาดที่มีค่าใช้จ่ายสูงในโดเมนที่มีความสำคัญสูง
  • กลยุทธ์การสอบถามที่ไม่ขึ้นกับโมเดล (model-agnostic) (ความไม่แน่นอน, top-k, ความหลากหลาย) สามารถปรับใช้กับตัวให้คะแนนความผิดปกติใดก็ได้ ไม่ใช่แค่ Isolation Forest
  • ทำงานได้ดีในสถานการณ์ที่มีความไม่สมดุลของคลาส (class-imbalanced settings) ซึ่งความผิดปกติหายากมาก และการเรียนรู้แบบมีผู้สอนจะต้องใช้ชุดข้อมูลที่มีป้ายกำกับขนาดใหญ่
  • แต่ละรอบการสอบถามให้การปรับปรุงที่วัดผลได้ทันทีในการจัดอันดับความผิดปกติ ทำให้ความคืบหน้าโปร่งใสต่อผู้มีส่วนได้ส่วนเสีย

การประยุกต์ใช้

  • การแจ้งเตือนการบุกรุกเครือข่ายและความปลอดภัยทางไซเบอร์ (Network intrusion and cybersecurity alert triage) ซึ่งนักวิเคราะห์ติดป้ายกำกับชุดการเชื่อมต่อที่น่าสงสัยเล็กน้อยในแต่ละกะ
  • การตรวจจับการฉ้อโกงบัตรเครดิต (Credit card fraud detection) พร้อมการตรวจสอบธุรกรรมที่ถูกตั้งค่าสถานะโดยนักวิเคราะห์เป็นระยะ
  • การบำรุงรักษาเชิงพยากรณ์ในภาคการผลิต (Predictive maintenance in manufacturing) การระบุความล้มเหลวของเครื่องจักรที่หายากจากสตรีมเซ็นเซอร์ (sensor streams) โดยมีบันทึกความล้มเหลวน้อย
  • การระบุค่าผิดปกติทางคลินิก (Clinical outlier detection) ในเวชระเบียนอิเล็กทรอนิกส์ (electronic health records) ซึ่งแพทย์ยืนยันโปรไฟล์ผู้ป่วยที่ผิดปกติ
  • การควบคุมคุณภาพข้อมูลทางวิทยาศาสตร์ (Scientific data quality control) การตั้งค่าสถานะข้อผิดพลาดของเครื่องมือในชุดข้อมูลการทดลองที่ตรวจสอบโดยนักวิทยาศาสตร์เฉพาะทาง

วิธีการทำงาน

วิธีการทำงาน

1

ขั้นแรกจะฝึก Isolation Forest บนข้อมูลที่ไม่มีป้ายกำกับทั้งหมดที่มีอยู่ อินสแตนซ์แต่ละรายการจะได้รับคะแนนความผิดปกติโดยพิจารณาจากความเร็วที่การแบ่งพาร์ติชันแบบสุ่ม (random recursive partitioning) แยกอินสแตนซ์นั้นออกจากกัน: อินสแตนซ์ในบริเวณที่เบาบางและแยกได้ง่ายจะได้รับคะแนนสูง การดำเนินการแบบไม่มีผู้สอนนี้จะเริ่มต้นวงจรการเรียนรู้เชิงรุกด้วยการจัดอันดับเริ่มต้นที่มีความหมาย

2

พูล (pool) ของอินสแตนซ์ที่ไม่มีป้ายกำกับทั้งหมดจะถูกจัดอันดับตามคะแนนความผิดปกติ กลยุทธ์การสอบถาม — เช่น การเลือกอินสแตนซ์ที่มีคะแนนสูงสุด k อันดับแรก หรืออินสแตนซ์ที่คะแนนอยู่ในบริเวณขอบเขตที่ไม่แน่นอน — จะระบุอินสแตนซ์ที่ป้ายกำกับจากออราเคิล (oracle label) จะให้ข้อมูลมากที่สุด

3

อินสแตนซ์ที่เลือกจะถูกนำเสนอต่อผู้เชี่ยวชาญเฉพาะทาง (หรือออราเคิลจำลองในการทดลอง) ซึ่งจะติดป้ายกำกับแต่ละรายการว่าเป็นความผิดปกติหรือปกติ ต้องการการสอบถามเพียงจำนวนเล็กน้อยในแต่ละรอบ ทำให้แนวทางนี้สามารถนำไปปฏิบัติได้เมื่อการติดป้ายกำกับมีค่าใช้จ่ายสูงหรือต้องการการตัดสินของผู้เชี่ยวชาญ

4

อินสแตนซ์ที่มีป้ายกำกับใหม่จะถูกรวมเข้ากับโมเดล ซึ่งอาจหมายถึงการปรับน้ำหนักสมาชิกของเอนเซมเบิล (ensemble members) ที่เส้นทาง (paths) สอดคล้องกับความผิดปกติที่ยืนยันแล้ว การปรับแต่งเกณฑ์ความยาวเส้นทาง (path-length thresholds) หรือการฝึกใหม่ (retraining) โดยเพิ่มชุดข้อมูลที่มีป้ายกำกับเป็นข้อจำกัดในการกำกับดูแล (supervision constraints) การจัดอันดับคะแนนจะถูกคำนวณใหม่สำหรับพูลที่เหลือ

5

วงจรการสอบถาม-ติดป้ายกำกับ-อัปเดตจะทำซ้ำตามจำนวนรอบที่กำหนด หรือจนกว่างบประมาณการติดป้ายกำกับจะหมดลง ตัวตรวจจับสุดท้ายจะสะท้อนทั้งโครงสร้างโดยรวมที่จับได้โดยป่าแบบไม่มีผู้สอนดั้งเดิมและความรู้ของผู้เชี่ยวชาญที่เข้ารหัสผ่านการป้อนกลับที่มีป้ายกำกับ ซึ่งให้ผลลัพธ์เป็นตัวจัดอันดับความผิดปกติที่มีความแม่นยำสูงซึ่งปรับให้เหมาะกับโดเมน

ข้อผิดพลาดที่พบบ่อย

  • การสอบถามอินสแตนซ์ที่มีคะแนนความผิดปกติสูงสุดเพียงอย่างเดียว อาจสร้างอคติในการยืนยัน (confirmation bias) ทำให้โมเดลพลาดประเภทความผิดปกติใหม่ๆ ที่ดูเหมือนปกติในตอนแรก
  • การรายงานประสิทธิภาพเฉพาะบนอินสแตนซ์ที่ถูกสอบถาม แทนที่จะเป็นชุดทดสอบที่แยกไว้ ซึ่งทำให้การประมาณค่าความแม่นยำสูงเกินจริง
  • การมองป้ายกำกับออราเคิลว่าเป็นความจริง (ground truth) โดยไม่คำนึงถึงความไม่เห็นด้วยของผู้ประเมิน (inter-rater disagreement) โดยเฉพาะในบริบททางการแพทย์หรือความปลอดภัย
  • การลืมประเมิน Isolation Forest แบบไม่มีผู้สอนทั้งหมดใหม่หลังจากการป้อนกลับ คะแนนที่ล้าสมัย (stale scores) อาจทำให้รอบการสอบถามถัดไปไม่มีประสิทธิภาพ

คำถามที่พบบ่อย

ต้องใช้ป้ายกำกับที่ติดป้ายกำกับโดยผู้เชี่ยวชาญกี่รายการโดยทั่วไปเพื่อให้เกิดการปรับปรุงที่มีความหมาย?

งานวิจัยชี้ให้เห็นว่าป้ายกำกับของผู้เชี่ยวชาญ 10 ถึง 50 รายการ ซึ่งกระจายไปใน 3 ถึง 5 รอบการป้อนกลับ มักจะเพียงพอที่จะให้ผลลัพธ์ที่เหนือกว่า Isolation Forest แบบไม่มีผู้สอนโดยสิ้นเชิงในด้านความแม่นยำ โดยมีเงื่อนไขว่าป้ายกำกับออราเคิลมีความน่าเชื่อถือ

จำเป็นต้องฝึก Isolation Forest พื้นฐานใหม่ตั้งแต่ต้นหลังจากแต่ละรอบหรือไม่?

ไม่จำเป็นเสมอไป การใช้งานหลายอย่างจะปรับน้ำหนักหรือจัดอันดับเส้นทางต้นไม้ที่มีอยู่ใหม่โดยไม่ต้องฝึกใหม่ทั้งหมด ซึ่งมีประสิทธิภาพในการคำนวณ การฝึกใหม่ทั้งหมดพร้อมข้อจำกัดของป้ายกำกับเป็นทางเลือกหนึ่งเมื่อชุดข้อมูลที่มีป้ายกำกับมีขนาดใหญ่พอที่จะสมเหตุสมผล

กลยุทธ์การสอบถามใดที่ทำงานได้ดีที่สุดสำหรับการตรวจจับความผิดปกติ?

การให้คะแนนแบบ Top-k (การเลือกอินสแตนซ์ที่ไม่มีป้ายกำกับซึ่งมีคะแนนสูงสุด) นั้นง่ายและมีประสิทธิภาพเมื่อความผิดปกติหายาก กลยุทธ์ที่ใช้ความไม่แน่นอนหรือขอบเขต (margin-based strategies) จะช่วยได้เมื่อขอบเขตความผิดปกติคลุมเครือ กลยุทธ์ที่คำนึงถึงความหลากหลาย (diversity-aware strategies) ช่วยลดความซ้ำซ้อนระหว่างการสอบถาม

แนวทางนี้สามารถจัดการกับข้อมูลสตรีมมิ่ง (streaming data) หรือข้อมูลออนไลน์ (online data) ได้หรือไม่?

Isolation Forest แบบมาตรฐานเป็นวิธีการแบบกลุ่ม (batch method) ดังนั้นส่วนขยายการเรียนรู้เชิงรุกจึงมักจะเป็นแบบกลุ่มเช่นกัน สำหรับการตั้งค่าแบบสตรีมมิ่ง จำเป็นต้องใช้ Isolation Forest เวอร์ชันออนไลน์หรือแบบหน้าต่างเลื่อน (sliding-window variants) ก่อนที่จะใช้การป้อนกลับเชิงรุกได้

ฉันจะประเมินโมเดลได้อย่างยุติธรรมได้อย่างไร โดยพิจารณาว่ามีเพียงไม่กี่อินสแตนซ์เท่านั้นที่มีป้ายกำกับ?

กันชุดทดสอบที่มีป้ายกำกับแยกต่างหากซึ่งจะไม่ถูกนำมาใช้ในการสอบถาม ประเมินความแม่นยำ (precision) ความครอบคลุม (recall) และ AUCROC บนชุดนี้ในแต่ละรอบเพื่อติดตามการปรับปรุงที่แท้จริง แทนที่จะเป็นการเรียนรู้เกินข้อมูล (overfitting) จากป้ายกำกับที่ถูกสอบถาม

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Das, S., Wong, W. K., Fern, A., Dietterich, T. G., & Amran Siddiqui, M. (2019). Incorporating Expert Feedback into Active Anomaly Discovery. In Proceedings of the 2019 IEEE International Conference on Data Mining (ICDM), pp. 1009–1014.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Liu, F. T., Ting, K. M., & Zhou, Z. H. (2008). Isolation Forest. In Proceedings of the 8th IEEE International Conference on Data Mining (ICDM), pp. 413–422.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว