Skip to content
กลับไปยังผลการค้นหา

Isolation Forest

ผู้เสนอ
Liu, F.T., Ting, K.M. & Zhou, Z.-H.
ปี
2008
ประเภท
Unsupervised ensemble (random partitioning trees)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Isolation Forest เป็นวิธีการเรียนรู้ของเครื่องแบบไม่มีผู้สอน (unsupervised machine-learning method) สำหรับการตรวจจับความผิดปกติและค่าผิดปกติ (anomaly and outlier detection) ซึ่งแนะนำโดย Liu, Ting และ Zhou ในปี 2008 โดยใช้วิธีการแบ่งข้อมูลแบบสุ่มเพื่อแยกความผิดปกติออกมา วิธีการนี้ทำงานได้โดยไม่ต้องใช้ข้อมูลความผิดปกติที่มีป้ายกำกับ (labelled anomaly data) และสามารถปรับขนาดให้รองรับชุดข้อมูลที่มีมิติสูงได้

แนวคิดเบื้องหลังวิธีการ

แนวคิดหลักนั้นง่าย: ความผิดปกติมีจำนวนน้อยและแตกต่าง ดังนั้นจึงง่ายต่อการแยกออกจากข้อมูลส่วนที่เหลือ หากคุณทำการแบ่งข้อมูลแบบสุ่มอย่างต่อเนื่อง จุดข้อมูลปกติจะอยู่ในบริเวณที่มีความหนาแน่นสูงและต้องใช้การแบ่งหลายครั้งเพื่อแยกออกมา ในขณะที่ค่าผิดปกติจะอยู่แยกออกไปและจะถูกแยกออกหลังจากผ่านการแบ่งเพียงไม่กี่ครั้ง การนับจำนวนการแบ่งที่ใช้ในการแยกแต่ละจุดจะแปลงแนวคิดนี้ให้กลายเป็นคะแนนความผิดปกติ

ประวัติศาสตร์

Isolation Forest ถูกเสนอโดย Fei Tony Liu, Kai Ming Ting และ Zhi-Hua Zhou ในปี 2008 ที่งาน IEEE International Conference on Data Mining วิธีการนี้ได้นำเสนอปรัชญาที่แตกต่างสำหรับการตรวจจับค่าผิดปกติ: แทนที่จะสร้างโปรไฟล์ข้อมูลปกติและวัดค่าเบี่ยงเบน วิธีการนี้จะแยกความผิดปกติออกมาโดยตรงผ่านการแบ่งแบบสุ่ม โดยใช้ประโยชน์จากข้อเท็จจริงที่ว่าความผิดปกติมีจำนวนน้อยและแตกต่าง แนวทางนี้ได้กลายเป็นเครื่องมือที่ใช้กันอย่างแพร่หลายและปรับขนาดได้สำหรับการตรวจจับความผิดปกติแบบไม่มีผู้สอนบนข้อมูลที่มีมิติสูง

ควรใช้เมื่อใด

ใช้ Isolation Forest เพื่อตรวจจับความผิดปกติหรือค่าผิดปกติในข้อมูลต่อเนื่อง (continuous data) ที่อาจมีมิติสูง ข้อมูลภาคตัดขวาง (cross-sectional data) หรือข้อมูลอนุกรมเวลา (time-series data) ที่มีจำนวนการสังเกตอย่างน้อยประมาณ 50 รายการ โดยเฉพาะอย่างยิ่งเมื่อคุณไม่มีข้อมูลความผิดปกติที่มีป้ายกำกับให้เรียนรู้ วิธีการนี้ไม่ต้องการข้อมูลความผิดปกติที่มีป้ายกำกับและปรับขนาดได้ดีเมื่อจำนวนคุณลักษณะเพิ่มขึ้น คุณต้องระบุพารามิเตอร์การปนเปื้อนที่แสดงถึงอัตราความผิดปกติที่คาดหวัง สำหรับข้อมูลที่มีการสังเกตน้อยกว่าประมาณ 50 รายการ ขอบเขตระหว่างจุดข้อมูลปกติและจุดที่ผิดปกติจะเชื่อถือไม่ได้ และวิธีการตรวจจับค่าผิดปกติทางสถิติ (statistical outlier methods) หรือ PCA จะปลอดภัยกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 50) ขอบเขตระหว่างจุดข้อมูลปกติและจุดที่ผิดปกติไม่ชัดเจน และอัตราการเกิดผลบวกลวง (false-positive rate) จะสูง
  • หากไม่มีความผิดปกติที่แท้จริงเพียงพอ พารามิเตอร์การปนเปื้อนจะไม่มีความหมาย และวิธีการตรวจจับค่าผิดปกติทางสถิติจะเหมาะสมกว่า
  • ส่งคืนคะแนนความผิดปกติ แทนที่จะเป็นสัมประสิทธิ์ที่ตีความได้หรือกฎที่ชัดเจน
  • ผลลัพธ์ขึ้นอยู่กับค่าการปนเปื้อนที่เลือก ซึ่งต้องกำหนดจากความรู้เฉพาะทาง (domain knowledge)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ไม่มีผู้สอน: ไม่ต้องการข้อมูลความผิดปกติที่มีป้ายกำกับเพื่อตั้งค่าสถานะให้กับค่าผิดปกติ
  • ปรับขนาดได้ดีสำหรับข้อมูลที่มีมิติสูง
  • แยกความผิดปกติออกมาโดยตรง แทนที่จะสร้างแบบจำลองการกระจายตัวปกติทั้งหมด ซึ่งช่วยให้มีประสิทธิภาพ
  • พารามิเตอร์การปนเปื้อนเพียงค่าเดียวแสดงถึงอัตราความผิดปกติที่คาดหวังและกำหนดเกณฑ์การตั้งค่าสถานะ

การประยุกต์ใช้

  • การตรวจจับค่าผิดปกติและสิ่งผิดปกติแบบไม่มีผู้สอนในข้อมูลต่อเนื่อง
  • การคัดกรองชุดข้อมูลที่มีมิติสูงซึ่งไม่มีข้อมูลความผิดปกติที่มีป้ายกำกับอยู่
  • การตั้งค่าสถานะการสังเกตที่ผิดปกติในข้อมูลภาคตัดขวางหรือข้อมูลอนุกรมเวลาก่อนทำการสร้างแบบจำลอง
  • การตรวจสอบคุณภาพข้อมูลและการตรวจจับบันทึกที่ผิดปกติเบื้องต้น

วิธีการทำงาน

วิธีการทำงาน

1

Isolation Forest สลับตรรกะของการตรวจจับค่าผิดปกติแบบเดิมๆ แทนที่จะสร้างโปรไฟล์ของจุดข้อมูลปกติและตั้งค่าสถานะให้กับสิ่งที่เบี่ยงเบนไปจากโปรไฟล์นั้น วิธีการนี้ใช้ประโยชน์โดยตรงจากข้อเท็จจริงที่ว่าความผิดปกติมีจำนวนน้อยและแตกต่าง ดังนั้นจึงสามารถแยกออกมาได้อย่างรวดเร็ว เนื่องจากไม่จำเป็นต้องใช้ข้อมูลความผิดปกติที่มีป้ายกำกับ จึงเป็นวิธีการแบบไม่มีผู้สอนอย่างสมบูรณ์ และสามารถปรับขนาดให้รองรับข้อมูลที่มีมิติสูงได้ดี

2

วิธีการนี้สร้างต้นไม้การแบ่งแบบสุ่มจำนวนมาก ในแต่ละต้นไม้ ข้อมูลจะถูกแบ่งแบบเวียนซ้ำ (recursively split) โดยการเลือกคุณลักษณะ (feature) แบบสุ่มและค่าการแบ่งแบบสุ่ม ซึ่งจะแบ่งพื้นที่ออกเป็นส่วนเล็กๆ ลงเรื่อยๆ จนกระทั่งแต่ละจุดอยู่โดดเดี่ยว การแยกจุดข้อมูลปกติ ซึ่งซ่อนอยู่ในบริเวณที่มีผู้คนหนาแน่น ต้องใช้การแบ่งหลายครั้ง ในขณะที่ความผิดปกติที่อยู่โดดเดี่ยวจะถูกแยกออกมาหลังจากผ่านการแบ่งเพียงไม่กี่ครั้ง

3

ค่าเฉลี่ยของความยาวเส้นทางของแต่ละจุด ซึ่งคือจำนวนการแบ่งที่จำเป็นในการแยกจุดนั้น จะถูกนำมาหาค่าเฉลี่ยทั่วทั้งป่า (forest) และแปลงเป็นคะแนนความผิดปกติ: เส้นทางที่สั้นหมายถึงความผิดปกติที่มีแนวโน้มสูง เส้นทางที่ยาวหมายถึงจุดข้อมูลปกติที่มีแนวโน้มสูง พารามิเตอร์การปนเปื้อน (contamination parameter) ซึ่งคือสัดส่วนที่คาดหวังของความผิดปกติ จะกำหนดเกณฑ์ที่ใช้ในการตัดสินว่าจุดใดจะถูกตั้งค่าสถานะว่าเป็นค่าผิดปกติในท้ายที่สุด

สูตร
s(x) = 2^{-\frac{E(h(x))}{c(n)}}

ข้อผิดพลาดที่พบบ่อย

  • การรันบนข้อมูลที่มีการสังเกตน้อยกว่าประมาณ 50 รายการ และเชื่อถือค่าผิดปกติที่ถูกตั้งค่าสถานะ
  • การตั้งค่าพารามิเตอร์การปนเปื้อนโดยไม่มีความผิดปกติที่แท้จริงเพียงพอในข้อมูลเพื่อสนับสนุน
  • การปฏิบัติต่อคะแนนความผิดปกติเสมือนความน่าจะเป็นที่แน่นอน แทนที่จะเป็นการจัดอันดับสัมพัทธ์
  • การละเลยการปรับขนาดคุณลักษณะ (feature scaling) และอิทธิพลของคุณลักษณะที่ไม่เกี่ยวข้องต่อการแบ่งแบบสุ่ม

คำถามที่พบบ่อย

ฉันจำเป็นต้องมีข้อมูลความผิดปกติที่มีป้ายกำกับเพื่อใช้ Isolation Forest หรือไม่?

ไม่ วิธีการนี้เป็นวิธีการแบบไม่มีผู้สอนที่แยกความผิดปกติออกมาผ่านการแบ่งแบบสุ่ม ดังนั้นจึงไม่ต้องการข้อมูลความผิดปกติที่มีป้ายกำกับในการทำงาน

พารามิเตอร์การปนเปื้อนทำหน้าที่อะไร?

มันแสดงถึงสัดส่วนที่คาดหวังของความผิดปกติในข้อมูลและกำหนดเกณฑ์ที่ใช้ในการตัดสินว่าจุดใดจะถูกตั้งค่าสถานะว่าเป็นค่าผิดปกติในท้ายที่สุด หากไม่มีความผิดปกติที่แท้จริงเพียงพอในข้อมูล พารามิเตอร์นี้จะไม่มีความหมาย

เหตุใดจึงมีปัญหาเมื่อใช้กับกลุ่มตัวอย่างขนาดเล็ก?

เมื่อมีจำนวนการสังเกตน้อยกว่าประมาณ 50 รายการ ขอบเขตระหว่างจุดข้อมูลปกติและจุดที่ผิดปกติจะไม่ชัดเจน และอัตราการเกิดผลบวกลวงจะสูง ในกรณีดังกล่าว วิธีการตรวจจับค่าผิดปกติทางสถิติหรือ PCA จะเป็นทางเลือกที่ปลอดภัยกว่า

ความผิดปกติถูกให้คะแนนอย่างไร?

ค่าเฉลี่ยความยาวเส้นทางของแต่ละจุดทั่วทั้งต้นไม้แบบสุ่ม ซึ่งคือจำนวนการแบ่งที่ใช้ในการแยกจุดนั้น จะถูกแปลงเป็นคะแนนความผิดปกติ เส้นทางที่สั้นบ่งชี้ถึงความผิดปกติที่มีแนวโน้มสูง เส้นทางที่ยาวบ่งชี้ถึงจุดข้อมูลปกติที่มีแนวโน้มสูง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว