Skip to content
กลับไปยังผลการค้นหา

Isolation Forest แบบกึ่งมีผู้สอน

ผู้เสนอ
Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
ปี
2013–2020
ประเภท
Ensemble anomaly detection (semi-supervised extension)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Semi-supervised Isolation Forest ขยายขอบเขตของ Isolation Forest แบบดั้งเดิมซึ่งเป็นตัวตรวจจับความผิดปกติ โดยการรวมชุดตัวอย่างความผิดปกติที่ติดป้ายกำกับจำนวนเล็กน้อย (และอาจรวมถึงตัวอย่างปกติ) เข้ากับชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ การชี้นำด้วยป้ายกำกับนี้จะปรับคะแนนความผิดปกติของโมเดล เพื่อให้ความผิดปกติที่ทราบถูกแยกออกจากกันได้อย่างน่าเชื่อถือมากขึ้น ซึ่งเป็นการเชื่อมช่องว่างระหว่างการตรวจจับแบบไม่มีผู้สอนอย่างสมบูรณ์และการตรวจจับแบบมีผู้สอนอย่างสมบูรณ์

แนวคิดเบื้องหลังวิธีการ

Isolation Forest แบบมาตรฐานให้คะแนนความผิดปกติโดยพิจารณาจากความเร็วที่ต้นไม้แบบสุ่มแยกจุดข้อมูล — ความผิดปกติจะถูกแยกออกในจำนวนการแบ่งที่น้อยกว่า แต่หากไม่มีป้ายกำกับ โมเดลจะไม่มีข้อมูลป้อนกลับเกี่ยวกับสิ่งที่นับว่าเป็นความผิดปกติในโดเมนของคุณ Semi-supervised Isolation Forest นำเสนอตัวอย่างที่ยืนยันแล้วจำนวนเล็กน้อย (ความผิดปกติที่ทราบ หรือข้อมูลปกติที่ทราบ หรือทั้งสองอย่าง) และใช้ตัวอย่างเหล่านี้เพื่อปรับเทียบหรือถ่วงน้ำหนักกระบวนการให้คะแนนใหม่ ผลลัพธ์คือ พลังการแยกโดยธรรมชาติของป่าจะถูกนำไปใช้กับรูปแบบความผิดปกติที่สำคัญจริงๆ ซึ่งช่วยลดการแจ้งเตือนที่ผิดพลาดและการตรวจจับที่พลาดไปได้อย่างมาก โดยไม่จำเป็นต้องมีชุดข้อมูลฝึกอบรมที่มีป้ายกำกับทั้งหมด

ประวัติศาสตร์

Isolation Forest ถูกนำเสนอโดย Liu, Ting และ Zhou ในปี 2008 ในฐานะตัวตรวจจับความผิดปกติแบบไม่มีผู้สอนอย่างแท้จริง โดยอาศัยการแบ่งแบบเวียนซ้ำแบบสุ่ม การตระหนักว่าแม้แต่ป้ายกำกับเพียงไม่กี่ป้ายก็สามารถปรับปรุงการตรวจจับได้อย่างมาก นักวิจัยตั้งแต่ประมาณปี 2013 เป็นต้นมาได้พัฒนาส่วนขยายแบบกึ่งมีผู้สอนที่รวมการชี้นำด้วยป้ายกำกับเข้ากับกระบวนการให้คะแนนหรือการถ่วงน้ำหนักต้นไม้ พื้นฐานทางทฤษฎีที่เกี่ยวข้องกับการตรวจจับความผิดปกติแบบมีผู้สอนถูกวางรากฐานโดย Görnitz และคณะ (2013) และรูปแบบ SSIF ที่ใช้งานได้จริงปรากฏในงานประยุกต์ที่กล่าวถึงการตรวจจับการฉ้อโกงและการบุกรุกเครือข่ายในช่วงปลายทศวรรษ 2010

ควรใช้เมื่อใด

ใช้ Semi-supervised Isolation Forest เมื่อคุณมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก ค่าใช้จ่ายในการติดป้ายกำกับทั้งหมดเป็นสิ่งต้องห้าม แต่คุณสามารถได้รับป้ายกำกับสำหรับชุดความผิดปกติที่ยืนยันแล้วอย่างน้อยหนึ่งชุด (และอาจรวมถึงข้อมูลปกติที่ยืนยันแล้วบางส่วน) มีประโยชน์อย่างยิ่งสำหรับการตรวจจับเหตุการณ์ที่เกิดขึ้นไม่บ่อยในด้านความปลอดภัยทางไซเบอร์ การฉ้อโกง การบำรุงรักษาเชิงคาดการณ์ และการเฝ้าระวังทางการแพทย์ ซึ่งผู้เชี่ยวชาญในโดเมนสามารถติดป้ายกำกับเหตุการณ์ที่ทราบได้จำนวนเล็กน้อย อย่าใช้เมื่อไม่มีความผิดปกติที่ติดป้ายกำกับเลย (ควรใช้ Isolation Forest แบบมาตรฐานหรือ One-Class SVM) เมื่อข้อมูลมีมิติสูงและเบาบางโดยไม่มีการประมวลผลล่วงหน้า หรือเมื่อมีชุดข้อมูลที่มีป้ายกำกับทั้งหมดจำนวนมากอยู่แล้ว (ตัวจำแนกแบบมีผู้สอนอย่างสมบูรณ์จะทำงานได้ดีกว่า)

ข้อจำกัดและข้อควรพิจารณา

  • ประสิทธิภาพลดลงหากความผิดปกติที่ติดป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของความผิดปกติในข้อมูลที่ไม่มีป้ายกำกับ
  • กลไกการรวมป้ายกำกับที่เหมาะสมที่สุดแตกต่างกันไปในแต่ละการนำไปใช้ ยังไม่มีรูปแบบใดรูปแบบหนึ่งที่โดดเด่นเป็นสากล
  • เช่นเดียวกับ iForest แบบมาตรฐาน อาจประสบปัญหาเกี่ยวกับความผิดปกติที่กระจุกตัวใกล้ศูนย์กลางข้อมูล หรือมีการกระจายตัวแบบหลายรูปแบบ (multimodal) บางประเภท
  • ต้องระมัดระวังเพื่อหลีกเลี่ยงการรั่วไหลของป้ายกำกับเมื่อทำการประเมิน: ชุดข้อมูลที่มีป้ายกำกับต้องไม่ทับซ้อนกับชุดทดสอบ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • บรรลุความแม่นยำ (precision) และความครอบคลุม (recall) ที่สูงกว่า iForest แบบไม่มีผู้สอนอย่างสมบูรณ์ โดยการยึดคะแนนกับความผิดปกติที่ติดป้ายกำกับจริง
  • ต้องการป้ายกำกับเพียงจำนวนเล็กน้อย ทำให้สามารถปฏิบัติได้เมื่อการติดป้ายกำกับมีค่าใช้จ่ายสูง
  • สืบทอดเวลาการฝึกอบรมแบบซับลีนเนียร์ (sub-linear) และการใช้หน่วยความจำต่ำของ iForest ทำให้สามารถปรับขนาดกับชุดข้อมูลขนาดใหญ่ได้
  • จัดการข้อมูลตารางมิติสูงโดยไม่มีข้อสมมติฐานเกี่ยวกับระยะทางหรือความหนาแน่น
  • ลดการเลือกเกณฑ์ตามอำเภอใจ: ชุดย่อยที่มีป้ายกำกับให้พื้นฐานการปรับเทียบที่มีหลักการ

การประยุกต์ใช้

  • การตรวจจับการบุกรุกเครือข่ายโดยใช้ตัวอย่างการโจมตีที่ยืนยันแล้วจำนวนเล็กน้อยควบคู่ไปกับการรับส่งข้อมูลปกติ
  • การตรวจจับการฉ้อโกงทางการเงิน ซึ่งมีเพียงชุดตัวอย่างธุรกรรมที่ฉ้อโกงซึ่งยืนยันแล้วจำนวนเล็กน้อยที่พร้อมสำหรับการติดป้ายกำกับ
  • การบำรุงรักษาเชิงคาดการณ์: การใช้เหตุการณ์ความล้มเหลวที่ยืนยันแล้วเพื่อปรับเทียบคะแนนความผิดปกติบนสตรีมเซ็นเซอร์
  • การเฝ้าระวังทางการแพทย์: การชี้นำการให้คะแนนความผิดปกติด้วยกรณีพยาธิวิทยาที่ยืนยันแล้วจากเวชระเบียนอิเล็กทรอนิกส์
  • การควบคุมคุณภาพในการผลิต ซึ่งมีเพียงส่วนย่อยของหน่วยที่ชำรุดเท่านั้นที่ได้รับการยืนยันอย่างอิสระ

วิธีการทำงาน

วิธีการทำงาน

1

ข้อมูลที่มีอยู่จะถูกแบ่งออกเป็นชุดย่อยที่มีป้ายกำกับขนาดเล็ก — ซึ่งประกอบด้วยความผิดปกติที่ยืนยันแล้ว ข้อมูลปกติที่ยืนยันแล้ว หรือทั้งสองอย่าง — และกลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ ชุดย่อยที่มีป้ายกำกับมีขนาดเล็กโดยเจตนา การได้รับป้ายกำกับทั้งหมดมักมีค่าใช้จ่ายสูงหรือไม่สามารถปฏิบัติได้ ซึ่งเป็นสถานการณ์ที่วิธีการนี้มุ่งเป้าหมาย

2

ชุดของต้นไม้แยก (isolation trees) ถูกสร้างขึ้นบนกลุ่มข้อมูลย่อยแบบสุ่มของชุดข้อมูลทั้งหมด (ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ) ตามขั้นตอนมาตรฐานของ iForest: ที่แต่ละโหนดภายใน จะมีการเลือกคุณลักษณะแบบสุ่มและค่าการแบ่งแบบสุ่มภายในช่วงของคุณลักษณะนั้น เพื่อแบ่งข้อมูลแบบเวียนซ้ำจนกว่าแต่ละจุดจะถูกแยกออก

3

การสังเกตแต่ละรายการจะได้รับคะแนนความผิดปกติที่ได้มาจากค่าเฉลี่ยความยาวเส้นทางในทุกต้นไม้ เส้นทางเฉลี่ยที่สั้นกว่า — หมายถึงการแยกที่ง่ายกว่า — จะให้คะแนนความผิดปกติที่สูงกว่า คะแนนที่ปรับตามสัดส่วน s(x, n) จะแมปเป็น (0, 1] โดยค่าที่ใกล้เคียง 1 บ่งชี้ถึงผู้สมัครความผิดปกติที่แข็งแกร่ง

สูตร
s(x, n) = 2^{-E[h(x)] / c(n)}
4

ตัวอย่างที่มีป้ายกำกับจะถูกใช้เพื่อปรับโมเดล: ขึ้นอยู่กับรูปแบบ อาจเกี่ยวข้องกับการถ่วงน้ำหนักต้นไม้หรือการแบ่งที่แยกความผิดปกติที่ทราบออกจากข้อมูลปกติได้อย่างถูกต้อง การเพิ่มเทอมฟังก์ชันสูญเสียแบบมีผู้สอน (supervised loss term) ในการรวมคะแนน หรือการใช้ชุดข้อมูลที่มีป้ายกำกับเพื่อเรียนรู้ขอบเขตการตัดสินใจบนคะแนนที่ไม่มีผู้สอน ขั้นตอนนี้คือความแตกต่างที่สำคัญจาก iForest แบบมาตรฐาน

5

มีการใช้เกณฑ์ (threshold) กับคะแนนความผิดปกติที่ปรับแล้วเพื่อสร้างการตัดสินใจแบบไบนารีว่าผิดปกติ/ปกติ ชุดย่อยที่มีป้ายกำกับช่วยให้สามารถเลือกเกณฑ์ตามข้อมูลได้ — ตัวอย่างเช่น การเลือกจุดตัดที่ทำให้ F1 สูงสุดบนตัวอย่างที่มีป้ายกำกับ — แทนที่จะอาศัยเปอร์เซ็นไทล์ตามอำเภอใจ

ข้อผิดพลาดที่พบบ่อย

  • การใช้เฉพาะป้ายกำกับความผิดปกติและละเว้นป้ายกำกับปกติเมื่อมีทั้งสองอย่าง — การรวมข้อมูลปกติที่ยืนยันแล้วสามารถทำให้ขอบเขตการตัดสินใจคมชัดขึ้นได้
  • การประเมินบนชุดทดสอบที่รวมตัวอย่างฝึกอบรมที่มีป้ายกำกับ ซึ่งทำให้เมตริกประสิทธิภาพสูงเกินจริง
  • การเลือกเกณฑ์คะแนนความผิดปกติโดยใช้เปอร์เซ็นไทล์คงที่แทนการใช้ชุดข้อมูลที่มีป้ายกำกับเพื่อการปรับเทียบ
  • การสันนิษฐานว่าวิธีการนี้มีความทนทานเมื่อความผิดปกติที่ติดป้ายกำกับครอบคลุมเพียงประเภทเดียว ในขณะที่กลุ่มข้อมูลที่ไม่มีป้ายกำกับมีรูปแบบความผิดปกติที่หลากหลาย
  • การละเลยการประมวลผลล่วงหน้าคุณลักษณะมิติสูงหรือประเภทผสมก่อนการปรับ (fitting) ซึ่งอาจทำให้การเลือกการแบ่งแบบสุ่มเอนเอียง

คำถามที่พบบ่อย

ฉันต้องการความผิดปกติที่ติดป้ายกำกับจำนวนเท่าใด?

แม้แต่เพียงไม่กี่ตัว — บางครั้งเพียง 10–50 ความผิดปกติที่ยืนยันแล้ว — ก็สามารถให้การปรับเทียบที่มีความหมายได้ ข้อกำหนดที่สำคัญคือความผิดปกติเหล่านั้นเป็นตัวแทนของประเภทความผิดปกติที่มีอยู่ในกลุ่มข้อมูลที่ไม่มีป้ายกำกับ การครอบคลุมป้ายกำกับที่หลากหลายมากขึ้นในประเภทความผิดปกติที่แตกต่างกันโดยทั่วไปจะให้ผลตอบแทนที่มากขึ้น

สิ่งนี้แตกต่างจาก Isolation Forest แบบมาตรฐานอย่างไร?

Isolation Forest แบบมาตรฐานเป็นแบบไม่มีผู้สอนอย่างสมบูรณ์และให้คะแนนความผิดปกติโดยพิจารณาจากความยาวเส้นทางเท่านั้น โดยไม่มีข้อมูลป้อนกลับจากโดเมน Semi-supervised Isolation Forest รวมชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเพื่อปรับคะแนนหรือน้ำหนักต้นไม้ โดยนำโมเดลไปสู่รูปแบบความผิดปกติที่เกี่ยวข้องจริงในโดเมนของคุณ และเปิดใช้งานการปรับเทียบเกณฑ์ที่มีหลักการ

ฉันสามารถรวมตัวอย่างข้อมูลปกติที่ติดป้ายกำกับได้หรือไม่ นอกเหนือจากความผิดปกติ?

ใช่ และโดยทั่วไปแล้วจะเป็นประโยชน์ ข้อมูลปกติที่ติดป้ายกำกับช่วยให้โมเดลแยกแยะกรณีที่อยู่บริเวณขอบเขตได้คมชัดขึ้น รูปแบบบางอย่างปฏิบัติต่อชุดข้อมูลที่มีป้ายกำกับเป็นข้อมูลอ้างอิงที่สมดุลสำหรับการปรับเทียบฟังก์ชันการให้คะแนน ดังนั้นการรวมทั้งสองคลาสเมื่อมีอยู่จะช่วยปรับปรุงขอบเขตการตัดสินใจ

ฉันควรใช้การตรวจสอบไขว้ (cross-validation) เพื่อประเมินโมเดลหรือไม่?

ใช่ แต่ต้องระมัดระวัง ชุดย่อยที่มีป้ายกำกับต้องถูกยกเว้นหรือแบ่งชั้นอย่างเหมาะสมในชุดทดสอบเพื่อหลีกเลี่ยงการรั่วไหลของข้อมูล การแบ่งชุดฝึกอบรม/ทดสอบแบบแบ่งชั้นบนส่วนที่มีป้ายกำกับ ควบคู่ไปกับกลุ่มข้อมูลที่ไม่มีป้ายกำกับทั้งหมดสำหรับการฝึกอบรม เป็นการตั้งค่าการประเมินมาตรฐาน

จะเกิดอะไรขึ้นหากความผิดปกติที่ติดป้ายกำกับของฉันไม่เป็นตัวแทน?

การปรับที่ชี้นำด้วยป้ายกำกับอาจส่งผลเสียหากความผิดปกติที่ติดป้ายกำกับครอบคลุมเพียงส่วนเล็กๆ ของการกระจายตัวของความผิดปกติที่แท้จริง ในกรณีนั้น โมเดลอาจพลาดประเภทความผิดปกติใหม่ๆ ที่ไม่เคยเห็นมาก่อน ขอแนะนำให้เสริมการตรวจจับแบบกึ่งมีผู้สอนด้วยการให้คะแนนความผิดปกติแบบไม่มีผู้สอน และเฝ้าติดตามการเปลี่ยนแปลงของการกระจายตัวในการผลิต

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Isolation Forest. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว