Skip to content
กลับไปยังผลการค้นหา

การตรวจจับความผิดปกติด้วยเอนเซมเบิลออโตเอนโค้ดเดอร์

ผู้เสนอ
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
ปี
2017
ประเภท
Ensemble unsupervised anomaly detection
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การตรวจจับความผิดปกติด้วยเอนเซมเบิลออโตเอนโค้ดเดอร์ (Ensemble Autoencoder Anomaly Detection) เป็นวิธีการที่ฝึกเครือข่ายประสาทเทียมออโตเอนโค้ดเดอร์หลายตัวบนข้อมูลปกติ และรวมค่าความผิดพลาดในการสร้างใหม่ (reconstruction errors) เพื่อให้ได้คะแนนความผิดปกติที่แข็งแกร่ง การรวมออโตเอนโค้ดเดอร์ที่หลากหลายเข้าด้วยกัน แทนที่จะพึ่งพาเพียงตัวเดียว ช่วยให้การจัดอันดับค่าผิดปกติมีความเสถียร และลดความไวต่อการเริ่มต้นแบบสุ่มหรือการเลือกสถาปัตยกรรมที่ไม่เหมาะสม

แนวคิดเบื้องหลังวิธีการ

ออโตเอนโค้ดเดอร์เดี่ยวเรียนรู้ที่จะบีบอัดแล้วสร้างข้อมูลปกติขึ้นใหม่ ค่าผิดปกติจะถูกบีบอัดได้ไม่ดีและให้ค่าความผิดพลาดในการสร้างใหม่สูง ปัญหาคือคะแนนความผิดปกติของออโตเอนโค้ดเดอร์เพียงตัวเดียวมีความเปราะบาง ขึ้นอยู่กับการเริ่มต้นแบบสุ่มและสถาปัตยกรรมที่เฉพาะเจาะจง เอนเซมเบิลจะฝึกออโตเอนโค้ดเดอร์หลายตัวบนชุดย่อยของคุณลักษณะหรือข้อมูลแบบสุ่มที่แตกต่างกัน จากนั้นจึงหาค่าเฉลี่ยของความผิดพลาดในการสร้างใหม่ ข้อบกพร่องเฉพาะของแต่ละเครือข่ายจะหักล้างกัน ทำให้เกิดสัญญาณความผิดปกติที่เสถียรและเชื่อถือได้มากขึ้น ซึ่งยากต่อการหลอกลวงและง่ายต่อการกำหนดเกณฑ์

ประวัติศาสตร์

การตรวจจับความผิดปกติโดยใช้ออโตเอนโค้ดเดอร์ได้รับความนิยมหลังจากการทำงานของ Hinton และ Salakhutdinov ในปี 2006 เกี่ยวกับออโตเอนโค้ดเดอร์เชิงลึก ซึ่งค่าความผิดพลาดในการสร้างใหม่ที่สูงปรากฏเป็นสัญญาณค่าผิดปกติตามธรรมชาติ การขยายผลแบบเอนเซมเบิลได้รับการทำให้เป็นทางการโดย Chen, Sathe, Aggarwal และ Turaga ในการประชุม SIAM Data Mining ปี 2017 ซึ่งแสดงให้เห็นว่าการทำให้ออโตเอนโค้ดเดอร์มีความหลากหลายผ่านการสุ่มเลือกคุณลักษณะ (feature bagging) ให้ผลลัพธ์ที่ดีกว่าโมเดลเดี่ยวอย่างสม่ำเสมอ ปัจจุบันแนวทางนี้ปรากฏเป็นประจำในกระบวนการตรวจจับความผิดปกติในอุตสาหกรรมสำหรับการบุกรุกเครือข่าย การบำรุงรักษาเชิงคาดการณ์ และการตรวจสอบทางการแพทย์

ควรใช้เมื่อใด

ใช้เมื่อคุณมีข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับ และต้องการตรวจจับความผิดปกติที่เกิดขึ้นไม่บ่อยในคุณลักษณะต่อเนื่องที่มีมิติสูง เช่น สตรีมเซ็นเซอร์ บันทึกธุรกรรม หรือสัญญาณทางการแพทย์ และออโตเอนโค้ดเดอร์เดี่ยวแสดงให้เห็นถึงความไม่เสถียรในการทำงานหลายครั้ง นอกจากนี้ยังมีประสิทธิภาพเมื่อไม่มีป้ายกำกับความผิดปกติ และคุณต้องการเกณฑ์มาตรฐานแบบไม่มีผู้สอน (unsupervised baseline) ที่มีความเสถียรมากกว่าเครือข่ายเดียว หลีกเลี่ยงเมื่อชุดข้อมูลมีขนาดเล็กมาก (น้อยกว่าสองสามร้อยการสังเกตการณ์ปกติต่อคุณลักษณะ) เนื่องจากออโตเอนโค้ดเดอร์จะไม่สามารถเรียนรู้โครงสร้างที่มีความหมายได้ อย่าใช้กับข้อมูลข้อความแบบจัดหมวดหมู่หรือข้อมูลเบาบางโดยไม่มีการประมวลผลการฝัง (embedding) ที่เหมาะสม และอย่าใช้เมื่อ Isolation Forest หรือ One-Class SVM ที่ปรับแต่งมาอย่างดีเพียงพอแล้วสามารถทำงานได้ เนื่องจากเอนเซมเบิลจะเพิ่มเวลาในการฝึกและความซับซ้อน

ข้อจำกัดและข้อควรพิจารณา

  • การฝึกออโตเอนโค้ดเดอร์ K ตัวจะเพิ่มความต้องการด้านการประมวลผลและหน่วยความจำ เอนเซมเบิลขนาดใหญ่บนเครือข่ายเชิงลึกมีค่าใช้จ่ายสูง
  • สมมติว่าความผิดปกติมีลักษณะเฉพาะคือค่าความผิดพลาดในการสร้างใหม่สูง - ความผิดปกติแบบปฏิปักษ์ (adversarial) หรือความผิดปกติที่มีโครงสร้างซึ่งอยู่บนโครงสร้างที่เรียนรู้มาอาจถูกมองข้ามไป
  • ไวต่อสัดส่วนของความผิดปกติในข้อมูลฝึกอบรม การปนเปื้อนจำนวนมากทำให้โครงสร้างปกติที่เรียนรู้เสื่อมโทรมและกดคะแนนความผิดปกติสำหรับการปนเปื้อนนั้น
  • การเลือกพารามิเตอร์ไฮเปอร์ (จำนวนโมเดล สถาปัตยกรรม ฟังก์ชันการรวม) ต้องการข้อมูลการตรวจสอบ (validation data) หรือความรู้เฉพาะทาง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ลดความแปรปรวนของคะแนนความผิดปกติเมื่อเทียบกับออโตเอนโค้ดเดอร์เดี่ยว ทำให้การจัดอันดับมีความเสถียรมากขึ้นเมื่อเปลี่ยนค่าเริ่มต้นแบบสุ่ม
  • การรวมตัวตรวจจับที่หลากหลายช่วยจับลักษณะของความเป็นปกติที่แตกต่างกัน ปรับปรุงการเรียกคืน (recall) สำหรับความผิดปกติประเภทต่างๆ
  • ไม่มีผู้สอนอย่างสมบูรณ์ - ไม่ต้องใช้ป้ายกำกับความผิดปกติ เพียงแค่ข้อมูลปกติหรือข้อมูลผสมที่ไม่มีป้ายกำกับ
  • ปรับขนาดได้กับข้อมูลต่อเนื่องมิติสูง ซึ่งวิธีการที่ใช้ระยะทาง เช่น การตรวจจับความผิดปกติแบบ k-NN จะเสื่อมประสิทธิภาพ
  • เข้ากันได้กับสถาปัตยกรรมออโตเอนโค้ดเดอร์หลากหลายประเภท (แบบธรรมดา, แบบแปรผัน, แบบคอนโวลูชัน) เพื่อให้เข้ากับโครงสร้างข้อมูล
  • คะแนนเอนเซมเบิลง่ายต่อการกำหนดเกณฑ์อย่างน่าเชื่อถือมากกว่าคะแนนของเครือข่ายเดียว ลดความพยายามในการปรับเทียบ

การประยุกต์ใช้

  • การตรวจจับการบุกรุกเครือข่ายจากคุณลักษณะแพ็กเก็ตหรือโฟลว์มิติสูง
  • การให้คะแนนความผิดปกติสำหรับการบำรุงรักษาเชิงคาดการณ์บนอนุกรมเวลาเซ็นเซอร์หลายตัวแปร
  • การตรวจจับการฉ้อโกงธุรกรรมทางการเงินในสตรีมที่ไม่มีป้ายกำกับหรือมีป้ายกำกับน้อย
  • การตรวจสอบสัญญาณชีวภาพทางการแพทย์ (ECG, EEG) สำหรับรูปแบบพยาธิวิทยาที่เกิดขึ้นไม่บ่อย
  • การควบคุมคุณภาพในการผลิตที่ตัวอย่างข้อบกพร่องมีน้อย
  • การให้คะแนนค่าผิดปกติแบบไม่มีผู้สอนเป็นเกณฑ์มาตรฐานก่อนแคมเปญการติดป้ายกำกับแบบเรียนรู้เชิงรุก (active-learning)

วิธีการทำงาน

วิธีการทำงาน

1

ออโตเอนโค้ดเดอร์ K ตัวจะถูกฝึกอย่างอิสระบนข้อมูลฝึกอบรมปกติ (ที่สมมติขึ้น) โดยแต่ละตัวมีการเริ่มต้นแบบสุ่มที่แตกต่างกัน และอาจมีชุดคุณลักษณะอินพุตหรือสถาปัตยกรรมเครือข่ายที่แตกต่างกัน การฝึกอบรมจะส่งเสริมให้แต่ละเครือข่ายลดค่าความสูญเสียในการสร้างใหม่บนตัวอย่างปกติ เพื่อให้มันเรียนรู้โครงสร้างของพฤติกรรมปกติ

2

สำหรับแต่ละการสังเกตการณ์ทดสอบ ออโตเอนโค้ดเดอร์แต่ละตัวจะเข้ารหัสเป็นการแสดงในปริภูมิแฝง (latent representation) และถอดรหัสกลับ ระยะห่าง L2 ยกกำลังสองระหว่างอินพุตดั้งเดิมและการสร้างใหม่คือคะแนนความผิดปกติของแต่ละเครือข่าย: ค่าความผิดพลาดสูงบ่งชี้ว่าการสังเกตการณ์นั้นเบี่ยงเบนไปจากโครงสร้างปกติที่เรียนรู้มา

สูตร
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2
3

คะแนน K ตัวจะถูกรวมเข้าเป็นคะแนนความผิดปกติเดียวต่อการสังเกตการณ์ โดยทั่วไปจะใช้วิธีการหาค่าเฉลี่ย การหาค่าสูงสุด หรือการใช้การรวมแบบจัดอันดับปกติ (rank-normalised combination) การหาค่าเฉลี่ยช่วยลดความแปรปรวน ในขณะที่การหาค่าสูงสุดจะไวต่อการตรวจจับความผิดปกติอย่างน้อยหนึ่งตัว

สูตร
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})
4

มีการกำหนดเกณฑ์ (threshold) กับคะแนนรวมเพื่อจำแนกการสังเกตการณ์ว่าเป็นความผิดปกติ โดยทั่วไปเกณฑ์จะถูกเลือกโดยอัตราการแจ้งผลบวกลวงเป้าหมาย (target false-positive rate) บนข้อมูลปกติที่แยกไว้ หรือโดยการพิจารณาค่าคะแนน p เปอร์เซ็นต์สูงสุดว่าเป็นความผิดปกติเมื่อไม่มีป้ายกำกับจริง

ข้อผิดพลาดที่พบบ่อย

  • การรวมความผิดปกติในชุดข้อมูลฝึกอบรมโดยไม่รู้ตัว - สิ่งนี้จะทำให้โครงสร้างปกติที่เรียนรู้เสียหายและลดทอนคะแนนความผิดปกติสำหรับการปนเปื้อน
  • การประเมินเฉพาะบนชุดข้อมูลฝึกอบรมโดยไม่มีตัวอย่างข้อมูลปกติที่แยกไว้เพื่อปรับเทียบเกณฑ์ ทำให้เกิดการติดป้ายความผิดปกติที่มั่นใจเกินไป
  • การใช้ความผิดพลาดในการสร้างใหม่เพียงอย่างเดียวโดยไม่ได้ตรวจสอบการมีส่วนร่วมของแต่ละมิติ ซึ่งเป็นการบดบังคุณลักษณะที่ขับเคลื่อนคะแนนความผิดปกติ
  • การปฏิบัติต่อเอนเซมเบิลราวกับว่าไม่ต้องการการปรับแต่งใดๆ - จำนวนออโตเอนโค้ดเดอร์ ความลึก และฟังก์ชันการรวม ล้วนส่งผลต่อประสิทธิภาพและควรได้รับการตรวจสอบ
  • การใช้วิธีการกับชุดข้อมูลที่มีการสังเกตการณ์น้อยมากเมื่อเทียบกับจำนวนคุณลักษณะ ซึ่งออโตเอนโค้ดเดอร์ไม่สามารถสรุปผลได้ และทุกจุดดูเหมือนผิดปกติ

คำถามที่พบบ่อย

ควรมีออโตเอนโค้ดเดอร์กี่ตัวในเอนเซมเบิล?

งานวิจัยชี้ให้เห็นว่าผลตอบแทนจะลดลงหลังจากประมาณ 10-20 เครือข่ายที่มีความหลากหลาย เริ่มต้นด้วย 10 และตรวจสอบว่าคะแนนรวมมีความเสถียรในการทำงานหลายครั้งหรือไม่ หากยังคงแปรปรวน ให้เพิ่มจำนวนหรือเพิ่มความหลากหลายผ่านการสุ่มเลือกคุณลักษณะบางส่วน

ฉันจะสร้างความหลากหลายในหมู่ออโตเอนโค้ดเดอร์ได้อย่างไร?

กลยุทธ์ทั่วไป ได้แก่ การเริ่มต้นแบบสุ่ม การสุ่มเลือกชุดย่อยของคุณลักษณะอินพุต (feature bagging) ขนาดมิติแฝงที่แตกต่างกัน อัตราการดรอปเอาต์ หรือสถาปัตยกรรมที่แตกต่างกัน (แบบตื้นเทียบกับแบบลึก) Feature bagging เป็นวิธีที่ง่ายที่สุดและมีประสิทธิภาพที่สุดสำหรับข้อมูลแบบตาราง

ข้อมูลฝึกอบรมจำเป็นต้องปราศจากความผิดปกติหรือไม่?

ตามหลักการแล้วใช่ แต่การปนเปื้อนปานกลาง (ต่ำกว่าประมาณ 5%) สามารถทนได้ หากสัดส่วนของความผิดปกติสูงขึ้น ออโตเอนโค้ดเดอร์จะเรียนรู้ที่จะสร้างใหม่ได้ดี และคะแนนความผิดปกติจะลดลง การกรองเบื้องต้นด้วยตัวตรวจจับที่ง่ายกว่า (เช่น Isolation Forest) ก่อนฝึกออโตเอนโค้ดเดอร์สามารถช่วยได้

ฉันควรตั้งค่าเกณฑ์ความผิดปกติอย่างไร?

หากคุณมีอัตราการแจ้งผลบวกลวงเป้าหมาย (เช่น 1%) ให้ตั้งเกณฑ์ที่เปอร์เซ็นไทล์ที่สอดคล้องกันของการกระจายคะแนนบนข้อมูลปกติที่แยกไว้ หากไม่มีป้ายกำกับเลย ให้ถือว่าค่าคะแนน p เปอร์เซ็นต์สูงสุดเป็นความผิดปกติ และตรวจสอบด้วยผู้เชี่ยวชาญเฉพาะทางหรือเมตริกการประเมินดาวน์สตรีม

เมื่อใดที่ออโตเอนโค้ดเดอร์เดี่ยวจะดีกว่าเอนเซมเบิล?

เมื่อข้อจำกัดด้านการประมวลผลมีมาก ชุดข้อมูลมีขนาดเล็ก หรือออโตเอนโค้ดเดอร์ที่ปรับแต่งมาอย่างดีเพียงตัวเดียวแสดงประสิทธิภาพที่เสถียรในการทำงานหลายครั้ง เอนเซมเบิลจะเพิ่มคุณค่าโดยหลักเมื่อความแปรปรวนของโมเดลแต่ละตัวสูง หรือคาดว่าความผิดปกติจะมีความหลากหลาย

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Aggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.

    ISBN: 978-3-319-47578-3
    คัดลอกแล้ว