Isolation Forest แบบกึ่งมีผู้สอน
- ผู้เสนอ
- Extended from Liu, F.T., Ting, K.M., and Zhou, Z-H. (iForest, 2008); semi-supervised variants developed by multiple authors ca. 2013–2020
- ปี
- 2013–2020
- ประเภท
- Ensemble anomaly detection (semi-supervised extension)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Semi-supervised Isolation Forest ขยายขอบเขตของ Isolation Forest แบบดั้งเดิมซึ่งเป็นตัวตรวจจับความผิดปกติ โดยการรวมชุดตัวอย่างความผิดปกติที่ติดป้ายกำกับจำนวนเล็กน้อย (และอาจรวมถึงตัวอย่างปกติ) เข้ากับชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ การชี้นำด้วยป้ายกำกับนี้จะปรับคะแนนความผิดปกติของโมเดล เพื่อให้ความผิดปกติที่ทราบถูกแยกออกจากกันได้อย่างน่าเชื่อถือมากขึ้น ซึ่งเป็นการเชื่อมช่องว่างระหว่างการตรวจจับแบบไม่มีผู้สอนอย่างสมบูรณ์และการตรวจจับแบบมีผู้สอนอย่างสมบูรณ์
แนวคิดเบื้องหลังวิธีการ
Isolation Forest แบบมาตรฐานให้คะแนนความผิดปกติโดยพิจารณาจากความเร็วที่ต้นไม้แบบสุ่มแยกจุดข้อมูล — ความผิดปกติจะถูกแยกออกในจำนวนการแบ่งที่น้อยกว่า แต่หากไม่มีป้ายกำกับ โมเดลจะไม่มีข้อมูลป้อนกลับเกี่ยวกับสิ่งที่นับว่าเป็นความผิดปกติในโดเมนของคุณ Semi-supervised Isolation Forest นำเสนอตัวอย่างที่ยืนยันแล้วจำนวนเล็กน้อย (ความผิดปกติที่ทราบ หรือข้อมูลปกติที่ทราบ หรือทั้งสองอย่าง) และใช้ตัวอย่างเหล่านี้เพื่อปรับเทียบหรือถ่วงน้ำหนักกระบวนการให้คะแนนใหม่ ผลลัพธ์คือ พลังการแยกโดยธรรมชาติของป่าจะถูกนำไปใช้กับรูปแบบความผิดปกติที่สำคัญจริงๆ ซึ่งช่วยลดการแจ้งเตือนที่ผิดพลาดและการตรวจจับที่พลาดไปได้อย่างมาก โดยไม่จำเป็นต้องมีชุดข้อมูลฝึกอบรมที่มีป้ายกำกับทั้งหมด
ประวัติศาสตร์
Isolation Forest ถูกนำเสนอโดย Liu, Ting และ Zhou ในปี 2008 ในฐานะตัวตรวจจับความผิดปกติแบบไม่มีผู้สอนอย่างแท้จริง โดยอาศัยการแบ่งแบบเวียนซ้ำแบบสุ่ม การตระหนักว่าแม้แต่ป้ายกำกับเพียงไม่กี่ป้ายก็สามารถปรับปรุงการตรวจจับได้อย่างมาก นักวิจัยตั้งแต่ประมาณปี 2013 เป็นต้นมาได้พัฒนาส่วนขยายแบบกึ่งมีผู้สอนที่รวมการชี้นำด้วยป้ายกำกับเข้ากับกระบวนการให้คะแนนหรือการถ่วงน้ำหนักต้นไม้ พื้นฐานทางทฤษฎีที่เกี่ยวข้องกับการตรวจจับความผิดปกติแบบมีผู้สอนถูกวางรากฐานโดย Görnitz และคณะ (2013) และรูปแบบ SSIF ที่ใช้งานได้จริงปรากฏในงานประยุกต์ที่กล่าวถึงการตรวจจับการฉ้อโกงและการบุกรุกเครือข่ายในช่วงปลายทศวรรษ 2010
ควรใช้เมื่อใด
ใช้ Semi-supervised Isolation Forest เมื่อคุณมีข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก ค่าใช้จ่ายในการติดป้ายกำกับทั้งหมดเป็นสิ่งต้องห้าม แต่คุณสามารถได้รับป้ายกำกับสำหรับชุดความผิดปกติที่ยืนยันแล้วอย่างน้อยหนึ่งชุด (และอาจรวมถึงข้อมูลปกติที่ยืนยันแล้วบางส่วน) มีประโยชน์อย่างยิ่งสำหรับการตรวจจับเหตุการณ์ที่เกิดขึ้นไม่บ่อยในด้านความปลอดภัยทางไซเบอร์ การฉ้อโกง การบำรุงรักษาเชิงคาดการณ์ และการเฝ้าระวังทางการแพทย์ ซึ่งผู้เชี่ยวชาญในโดเมนสามารถติดป้ายกำกับเหตุการณ์ที่ทราบได้จำนวนเล็กน้อย อย่าใช้เมื่อไม่มีความผิดปกติที่ติดป้ายกำกับเลย (ควรใช้ Isolation Forest แบบมาตรฐานหรือ One-Class SVM) เมื่อข้อมูลมีมิติสูงและเบาบางโดยไม่มีการประมวลผลล่วงหน้า หรือเมื่อมีชุดข้อมูลที่มีป้ายกำกับทั้งหมดจำนวนมากอยู่แล้ว (ตัวจำแนกแบบมีผู้สอนอย่างสมบูรณ์จะทำงานได้ดีกว่า)
ข้อจำกัดและข้อควรพิจารณา
- ประสิทธิภาพลดลงหากความผิดปกติที่ติดป้ายกำกับไม่เป็นตัวแทนของการกระจายตัวของความผิดปกติในข้อมูลที่ไม่มีป้ายกำกับ
- กลไกการรวมป้ายกำกับที่เหมาะสมที่สุดแตกต่างกันไปในแต่ละการนำไปใช้ ยังไม่มีรูปแบบใดรูปแบบหนึ่งที่โดดเด่นเป็นสากล
- เช่นเดียวกับ iForest แบบมาตรฐาน อาจประสบปัญหาเกี่ยวกับความผิดปกติที่กระจุกตัวใกล้ศูนย์กลางข้อมูล หรือมีการกระจายตัวแบบหลายรูปแบบ (multimodal) บางประเภท
- ต้องระมัดระวังเพื่อหลีกเลี่ยงการรั่วไหลของป้ายกำกับเมื่อทำการประเมิน: ชุดข้อมูลที่มีป้ายกำกับต้องไม่ทับซ้อนกับชุดทดสอบ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- บรรลุความแม่นยำ (precision) และความครอบคลุม (recall) ที่สูงกว่า iForest แบบไม่มีผู้สอนอย่างสมบูรณ์ โดยการยึดคะแนนกับความผิดปกติที่ติดป้ายกำกับจริง
- ต้องการป้ายกำกับเพียงจำนวนเล็กน้อย ทำให้สามารถปฏิบัติได้เมื่อการติดป้ายกำกับมีค่าใช้จ่ายสูง
- สืบทอดเวลาการฝึกอบรมแบบซับลีนเนียร์ (sub-linear) และการใช้หน่วยความจำต่ำของ iForest ทำให้สามารถปรับขนาดกับชุดข้อมูลขนาดใหญ่ได้
- จัดการข้อมูลตารางมิติสูงโดยไม่มีข้อสมมติฐานเกี่ยวกับระยะทางหรือความหนาแน่น
- ลดการเลือกเกณฑ์ตามอำเภอใจ: ชุดย่อยที่มีป้ายกำกับให้พื้นฐานการปรับเทียบที่มีหลักการ
การประยุกต์ใช้
- การตรวจจับการบุกรุกเครือข่ายโดยใช้ตัวอย่างการโจมตีที่ยืนยันแล้วจำนวนเล็กน้อยควบคู่ไปกับการรับส่งข้อมูลปกติ
- การตรวจจับการฉ้อโกงทางการเงิน ซึ่งมีเพียงชุดตัวอย่างธุรกรรมที่ฉ้อโกงซึ่งยืนยันแล้วจำนวนเล็กน้อยที่พร้อมสำหรับการติดป้ายกำกับ
- การบำรุงรักษาเชิงคาดการณ์: การใช้เหตุการณ์ความล้มเหลวที่ยืนยันแล้วเพื่อปรับเทียบคะแนนความผิดปกติบนสตรีมเซ็นเซอร์
- การเฝ้าระวังทางการแพทย์: การชี้นำการให้คะแนนความผิดปกติด้วยกรณีพยาธิวิทยาที่ยืนยันแล้วจากเวชระเบียนอิเล็กทรอนิกส์
- การควบคุมคุณภาพในการผลิต ซึ่งมีเพียงส่วนย่อยของหน่วยที่ชำรุดเท่านั้นที่ได้รับการยืนยันอย่างอิสระ
วิธีการทำงาน
วิธีการทำงาน
ข้อมูลที่มีอยู่จะถูกแบ่งออกเป็นชุดย่อยที่มีป้ายกำกับขนาดเล็ก — ซึ่งประกอบด้วยความผิดปกติที่ยืนยันแล้ว ข้อมูลปกติที่ยืนยันแล้ว หรือทั้งสองอย่าง — และกลุ่มข้อมูลที่ไม่มีป้ายกำกับขนาดใหญ่ ชุดย่อยที่มีป้ายกำกับมีขนาดเล็กโดยเจตนา การได้รับป้ายกำกับทั้งหมดมักมีค่าใช้จ่ายสูงหรือไม่สามารถปฏิบัติได้ ซึ่งเป็นสถานการณ์ที่วิธีการนี้มุ่งเป้าหมาย
ชุดของต้นไม้แยก (isolation trees) ถูกสร้างขึ้นบนกลุ่มข้อมูลย่อยแบบสุ่มของชุดข้อมูลทั้งหมด (ทั้งที่มีป้ายกำกับและไม่มีป้ายกำกับ) ตามขั้นตอนมาตรฐานของ iForest: ที่แต่ละโหนดภายใน จะมีการเลือกคุณลักษณะแบบสุ่มและค่าการแบ่งแบบสุ่มภายในช่วงของคุณลักษณะนั้น เพื่อแบ่งข้อมูลแบบเวียนซ้ำจนกว่าแต่ละจุดจะถูกแยกออก
การสังเกตแต่ละรายการจะได้รับคะแนนความผิดปกติที่ได้มาจากค่าเฉลี่ยความยาวเส้นทางในทุกต้นไม้ เส้นทางเฉลี่ยที่สั้นกว่า — หมายถึงการแยกที่ง่ายกว่า — จะให้คะแนนความผิดปกติที่สูงกว่า คะแนนที่ปรับตามสัดส่วน s(x, n) จะแมปเป็น (0, 1] โดยค่าที่ใกล้เคียง 1 บ่งชี้ถึงผู้สมัครความผิดปกติที่แข็งแกร่ง
สูตร
s(x, n) = 2^{-E[h(x)] / c(n)}ตัวอย่างที่มีป้ายกำกับจะถูกใช้เพื่อปรับโมเดล: ขึ้นอยู่กับรูปแบบ อาจเกี่ยวข้องกับการถ่วงน้ำหนักต้นไม้หรือการแบ่งที่แยกความผิดปกติที่ทราบออกจากข้อมูลปกติได้อย่างถูกต้อง การเพิ่มเทอมฟังก์ชันสูญเสียแบบมีผู้สอน (supervised loss term) ในการรวมคะแนน หรือการใช้ชุดข้อมูลที่มีป้ายกำกับเพื่อเรียนรู้ขอบเขตการตัดสินใจบนคะแนนที่ไม่มีผู้สอน ขั้นตอนนี้คือความแตกต่างที่สำคัญจาก iForest แบบมาตรฐาน
มีการใช้เกณฑ์ (threshold) กับคะแนนความผิดปกติที่ปรับแล้วเพื่อสร้างการตัดสินใจแบบไบนารีว่าผิดปกติ/ปกติ ชุดย่อยที่มีป้ายกำกับช่วยให้สามารถเลือกเกณฑ์ตามข้อมูลได้ — ตัวอย่างเช่น การเลือกจุดตัดที่ทำให้ F1 สูงสุดบนตัวอย่างที่มีป้ายกำกับ — แทนที่จะอาศัยเปอร์เซ็นไทล์ตามอำเภอใจ
ข้อผิดพลาดที่พบบ่อย
- การใช้เฉพาะป้ายกำกับความผิดปกติและละเว้นป้ายกำกับปกติเมื่อมีทั้งสองอย่าง — การรวมข้อมูลปกติที่ยืนยันแล้วสามารถทำให้ขอบเขตการตัดสินใจคมชัดขึ้นได้
- การประเมินบนชุดทดสอบที่รวมตัวอย่างฝึกอบรมที่มีป้ายกำกับ ซึ่งทำให้เมตริกประสิทธิภาพสูงเกินจริง
- การเลือกเกณฑ์คะแนนความผิดปกติโดยใช้เปอร์เซ็นไทล์คงที่แทนการใช้ชุดข้อมูลที่มีป้ายกำกับเพื่อการปรับเทียบ
- การสันนิษฐานว่าวิธีการนี้มีความทนทานเมื่อความผิดปกติที่ติดป้ายกำกับครอบคลุมเพียงประเภทเดียว ในขณะที่กลุ่มข้อมูลที่ไม่มีป้ายกำกับมีรูปแบบความผิดปกติที่หลากหลาย
- การละเลยการประมวลผลล่วงหน้าคุณลักษณะมิติสูงหรือประเภทผสมก่อนการปรับ (fitting) ซึ่งอาจทำให้การเลือกการแบ่งแบบสุ่มเอนเอียง
คำถามที่พบบ่อย
ฉันต้องการความผิดปกติที่ติดป้ายกำกับจำนวนเท่าใด?
แม้แต่เพียงไม่กี่ตัว — บางครั้งเพียง 10–50 ความผิดปกติที่ยืนยันแล้ว — ก็สามารถให้การปรับเทียบที่มีความหมายได้ ข้อกำหนดที่สำคัญคือความผิดปกติเหล่านั้นเป็นตัวแทนของประเภทความผิดปกติที่มีอยู่ในกลุ่มข้อมูลที่ไม่มีป้ายกำกับ การครอบคลุมป้ายกำกับที่หลากหลายมากขึ้นในประเภทความผิดปกติที่แตกต่างกันโดยทั่วไปจะให้ผลตอบแทนที่มากขึ้น
สิ่งนี้แตกต่างจาก Isolation Forest แบบมาตรฐานอย่างไร?
Isolation Forest แบบมาตรฐานเป็นแบบไม่มีผู้สอนอย่างสมบูรณ์และให้คะแนนความผิดปกติโดยพิจารณาจากความยาวเส้นทางเท่านั้น โดยไม่มีข้อมูลป้อนกลับจากโดเมน Semi-supervised Isolation Forest รวมชุดข้อมูลที่มีป้ายกำกับขนาดเล็กเพื่อปรับคะแนนหรือน้ำหนักต้นไม้ โดยนำโมเดลไปสู่รูปแบบความผิดปกติที่เกี่ยวข้องจริงในโดเมนของคุณ และเปิดใช้งานการปรับเทียบเกณฑ์ที่มีหลักการ
ฉันสามารถรวมตัวอย่างข้อมูลปกติที่ติดป้ายกำกับได้หรือไม่ นอกเหนือจากความผิดปกติ?
ใช่ และโดยทั่วไปแล้วจะเป็นประโยชน์ ข้อมูลปกติที่ติดป้ายกำกับช่วยให้โมเดลแยกแยะกรณีที่อยู่บริเวณขอบเขตได้คมชัดขึ้น รูปแบบบางอย่างปฏิบัติต่อชุดข้อมูลที่มีป้ายกำกับเป็นข้อมูลอ้างอิงที่สมดุลสำหรับการปรับเทียบฟังก์ชันการให้คะแนน ดังนั้นการรวมทั้งสองคลาสเมื่อมีอยู่จะช่วยปรับปรุงขอบเขตการตัดสินใจ
ฉันควรใช้การตรวจสอบไขว้ (cross-validation) เพื่อประเมินโมเดลหรือไม่?
ใช่ แต่ต้องระมัดระวัง ชุดย่อยที่มีป้ายกำกับต้องถูกยกเว้นหรือแบ่งชั้นอย่างเหมาะสมในชุดทดสอบเพื่อหลีกเลี่ยงการรั่วไหลของข้อมูล การแบ่งชุดฝึกอบรม/ทดสอบแบบแบ่งชั้นบนส่วนที่มีป้ายกำกับ ควบคู่ไปกับกลุ่มข้อมูลที่ไม่มีป้ายกำกับทั้งหมดสำหรับการฝึกอบรม เป็นการตั้งค่าการประเมินมาตรฐาน
จะเกิดอะไรขึ้นหากความผิดปกติที่ติดป้ายกำกับของฉันไม่เป็นตัวแทน?
การปรับที่ชี้นำด้วยป้ายกำกับอาจส่งผลเสียหากความผิดปกติที่ติดป้ายกำกับครอบคลุมเพียงส่วนเล็กๆ ของการกระจายตัวของความผิดปกติที่แท้จริง ในกรณีนั้น โมเดลอาจพลาดประเภทความผิดปกติใหม่ๆ ที่ไม่เคยเห็นมาก่อน ขอแนะนำให้เสริมการตรวจจับแบบกึ่งมีผู้สอนด้วยการให้คะแนนความผิดปกติแบบไม่มีผู้สอน และเฝ้าติดตามการเปลี่ยนแปลงของการกระจายตัวในการผลิต
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Görnitz, N., Kloft, M., Rieck, K., & Brefeld, U. (2013). Toward supervised anomaly detection. Journal of Artificial Intelligence Research, 46, 235–262.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วIsolation Forest. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว