การตรวจจับความผิดปกติด้วยเอนเซมเบิลออโตเอนโค้ดเดอร์
- ผู้เสนอ
- Chen, J., Sathe, S., Aggarwal, C., & Turaga, D.
- ปี
- 2017
- ประเภท
- Ensemble unsupervised anomaly detection
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การตรวจจับความผิดปกติด้วยเอนเซมเบิลออโตเอนโค้ดเดอร์ (Ensemble Autoencoder Anomaly Detection) เป็นวิธีการที่ฝึกเครือข่ายประสาทเทียมออโตเอนโค้ดเดอร์หลายตัวบนข้อมูลปกติ และรวมค่าความผิดพลาดในการสร้างใหม่ (reconstruction errors) เพื่อให้ได้คะแนนความผิดปกติที่แข็งแกร่ง การรวมออโตเอนโค้ดเดอร์ที่หลากหลายเข้าด้วยกัน แทนที่จะพึ่งพาเพียงตัวเดียว ช่วยให้การจัดอันดับค่าผิดปกติมีความเสถียร และลดความไวต่อการเริ่มต้นแบบสุ่มหรือการเลือกสถาปัตยกรรมที่ไม่เหมาะสม
แนวคิดเบื้องหลังวิธีการ
ออโตเอนโค้ดเดอร์เดี่ยวเรียนรู้ที่จะบีบอัดแล้วสร้างข้อมูลปกติขึ้นใหม่ ค่าผิดปกติจะถูกบีบอัดได้ไม่ดีและให้ค่าความผิดพลาดในการสร้างใหม่สูง ปัญหาคือคะแนนความผิดปกติของออโตเอนโค้ดเดอร์เพียงตัวเดียวมีความเปราะบาง ขึ้นอยู่กับการเริ่มต้นแบบสุ่มและสถาปัตยกรรมที่เฉพาะเจาะจง เอนเซมเบิลจะฝึกออโตเอนโค้ดเดอร์หลายตัวบนชุดย่อยของคุณลักษณะหรือข้อมูลแบบสุ่มที่แตกต่างกัน จากนั้นจึงหาค่าเฉลี่ยของความผิดพลาดในการสร้างใหม่ ข้อบกพร่องเฉพาะของแต่ละเครือข่ายจะหักล้างกัน ทำให้เกิดสัญญาณความผิดปกติที่เสถียรและเชื่อถือได้มากขึ้น ซึ่งยากต่อการหลอกลวงและง่ายต่อการกำหนดเกณฑ์
ประวัติศาสตร์
การตรวจจับความผิดปกติโดยใช้ออโตเอนโค้ดเดอร์ได้รับความนิยมหลังจากการทำงานของ Hinton และ Salakhutdinov ในปี 2006 เกี่ยวกับออโตเอนโค้ดเดอร์เชิงลึก ซึ่งค่าความผิดพลาดในการสร้างใหม่ที่สูงปรากฏเป็นสัญญาณค่าผิดปกติตามธรรมชาติ การขยายผลแบบเอนเซมเบิลได้รับการทำให้เป็นทางการโดย Chen, Sathe, Aggarwal และ Turaga ในการประชุม SIAM Data Mining ปี 2017 ซึ่งแสดงให้เห็นว่าการทำให้ออโตเอนโค้ดเดอร์มีความหลากหลายผ่านการสุ่มเลือกคุณลักษณะ (feature bagging) ให้ผลลัพธ์ที่ดีกว่าโมเดลเดี่ยวอย่างสม่ำเสมอ ปัจจุบันแนวทางนี้ปรากฏเป็นประจำในกระบวนการตรวจจับความผิดปกติในอุตสาหกรรมสำหรับการบุกรุกเครือข่าย การบำรุงรักษาเชิงคาดการณ์ และการตรวจสอบทางการแพทย์
ควรใช้เมื่อใด
ใช้เมื่อคุณมีข้อมูลส่วนใหญ่ที่ไม่มีป้ายกำกับ และต้องการตรวจจับความผิดปกติที่เกิดขึ้นไม่บ่อยในคุณลักษณะต่อเนื่องที่มีมิติสูง เช่น สตรีมเซ็นเซอร์ บันทึกธุรกรรม หรือสัญญาณทางการแพทย์ และออโตเอนโค้ดเดอร์เดี่ยวแสดงให้เห็นถึงความไม่เสถียรในการทำงานหลายครั้ง นอกจากนี้ยังมีประสิทธิภาพเมื่อไม่มีป้ายกำกับความผิดปกติ และคุณต้องการเกณฑ์มาตรฐานแบบไม่มีผู้สอน (unsupervised baseline) ที่มีความเสถียรมากกว่าเครือข่ายเดียว หลีกเลี่ยงเมื่อชุดข้อมูลมีขนาดเล็กมาก (น้อยกว่าสองสามร้อยการสังเกตการณ์ปกติต่อคุณลักษณะ) เนื่องจากออโตเอนโค้ดเดอร์จะไม่สามารถเรียนรู้โครงสร้างที่มีความหมายได้ อย่าใช้กับข้อมูลข้อความแบบจัดหมวดหมู่หรือข้อมูลเบาบางโดยไม่มีการประมวลผลการฝัง (embedding) ที่เหมาะสม และอย่าใช้เมื่อ Isolation Forest หรือ One-Class SVM ที่ปรับแต่งมาอย่างดีเพียงพอแล้วสามารถทำงานได้ เนื่องจากเอนเซมเบิลจะเพิ่มเวลาในการฝึกและความซับซ้อน
ข้อจำกัดและข้อควรพิจารณา
- การฝึกออโตเอนโค้ดเดอร์ K ตัวจะเพิ่มความต้องการด้านการประมวลผลและหน่วยความจำ เอนเซมเบิลขนาดใหญ่บนเครือข่ายเชิงลึกมีค่าใช้จ่ายสูง
- สมมติว่าความผิดปกติมีลักษณะเฉพาะคือค่าความผิดพลาดในการสร้างใหม่สูง - ความผิดปกติแบบปฏิปักษ์ (adversarial) หรือความผิดปกติที่มีโครงสร้างซึ่งอยู่บนโครงสร้างที่เรียนรู้มาอาจถูกมองข้ามไป
- ไวต่อสัดส่วนของความผิดปกติในข้อมูลฝึกอบรม การปนเปื้อนจำนวนมากทำให้โครงสร้างปกติที่เรียนรู้เสื่อมโทรมและกดคะแนนความผิดปกติสำหรับการปนเปื้อนนั้น
- การเลือกพารามิเตอร์ไฮเปอร์ (จำนวนโมเดล สถาปัตยกรรม ฟังก์ชันการรวม) ต้องการข้อมูลการตรวจสอบ (validation data) หรือความรู้เฉพาะทาง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ลดความแปรปรวนของคะแนนความผิดปกติเมื่อเทียบกับออโตเอนโค้ดเดอร์เดี่ยว ทำให้การจัดอันดับมีความเสถียรมากขึ้นเมื่อเปลี่ยนค่าเริ่มต้นแบบสุ่ม
- การรวมตัวตรวจจับที่หลากหลายช่วยจับลักษณะของความเป็นปกติที่แตกต่างกัน ปรับปรุงการเรียกคืน (recall) สำหรับความผิดปกติประเภทต่างๆ
- ไม่มีผู้สอนอย่างสมบูรณ์ - ไม่ต้องใช้ป้ายกำกับความผิดปกติ เพียงแค่ข้อมูลปกติหรือข้อมูลผสมที่ไม่มีป้ายกำกับ
- ปรับขนาดได้กับข้อมูลต่อเนื่องมิติสูง ซึ่งวิธีการที่ใช้ระยะทาง เช่น การตรวจจับความผิดปกติแบบ k-NN จะเสื่อมประสิทธิภาพ
- เข้ากันได้กับสถาปัตยกรรมออโตเอนโค้ดเดอร์หลากหลายประเภท (แบบธรรมดา, แบบแปรผัน, แบบคอนโวลูชัน) เพื่อให้เข้ากับโครงสร้างข้อมูล
- คะแนนเอนเซมเบิลง่ายต่อการกำหนดเกณฑ์อย่างน่าเชื่อถือมากกว่าคะแนนของเครือข่ายเดียว ลดความพยายามในการปรับเทียบ
การประยุกต์ใช้
- การตรวจจับการบุกรุกเครือข่ายจากคุณลักษณะแพ็กเก็ตหรือโฟลว์มิติสูง
- การให้คะแนนความผิดปกติสำหรับการบำรุงรักษาเชิงคาดการณ์บนอนุกรมเวลาเซ็นเซอร์หลายตัวแปร
- การตรวจจับการฉ้อโกงธุรกรรมทางการเงินในสตรีมที่ไม่มีป้ายกำกับหรือมีป้ายกำกับน้อย
- การตรวจสอบสัญญาณชีวภาพทางการแพทย์ (ECG, EEG) สำหรับรูปแบบพยาธิวิทยาที่เกิดขึ้นไม่บ่อย
- การควบคุมคุณภาพในการผลิตที่ตัวอย่างข้อบกพร่องมีน้อย
- การให้คะแนนค่าผิดปกติแบบไม่มีผู้สอนเป็นเกณฑ์มาตรฐานก่อนแคมเปญการติดป้ายกำกับแบบเรียนรู้เชิงรุก (active-learning)
วิธีการทำงาน
วิธีการทำงาน
ออโตเอนโค้ดเดอร์ K ตัวจะถูกฝึกอย่างอิสระบนข้อมูลฝึกอบรมปกติ (ที่สมมติขึ้น) โดยแต่ละตัวมีการเริ่มต้นแบบสุ่มที่แตกต่างกัน และอาจมีชุดคุณลักษณะอินพุตหรือสถาปัตยกรรมเครือข่ายที่แตกต่างกัน การฝึกอบรมจะส่งเสริมให้แต่ละเครือข่ายลดค่าความสูญเสียในการสร้างใหม่บนตัวอย่างปกติ เพื่อให้มันเรียนรู้โครงสร้างของพฤติกรรมปกติ
สำหรับแต่ละการสังเกตการณ์ทดสอบ ออโตเอนโค้ดเดอร์แต่ละตัวจะเข้ารหัสเป็นการแสดงในปริภูมิแฝง (latent representation) และถอดรหัสกลับ ระยะห่าง L2 ยกกำลังสองระหว่างอินพุตดั้งเดิมและการสร้างใหม่คือคะแนนความผิดปกติของแต่ละเครือข่าย: ค่าความผิดพลาดสูงบ่งชี้ว่าการสังเกตการณ์นั้นเบี่ยงเบนไปจากโครงสร้างปกติที่เรียนรู้มา
สูตร
e_i^{(k)} = \|x_i - \hat{x}_i^{(k)}\|_2คะแนน K ตัวจะถูกรวมเข้าเป็นคะแนนความผิดปกติเดียวต่อการสังเกตการณ์ โดยทั่วไปจะใช้วิธีการหาค่าเฉลี่ย การหาค่าสูงสุด หรือการใช้การรวมแบบจัดอันดับปกติ (rank-normalised combination) การหาค่าเฉลี่ยช่วยลดความแปรปรวน ในขณะที่การหาค่าสูงสุดจะไวต่อการตรวจจับความผิดปกติอย่างน้อยหนึ่งตัว
สูตร
s_i = f(e_i^{(1)}, e_i^{(2)}, \ldots, e_i^{(K)})มีการกำหนดเกณฑ์ (threshold) กับคะแนนรวมเพื่อจำแนกการสังเกตการณ์ว่าเป็นความผิดปกติ โดยทั่วไปเกณฑ์จะถูกเลือกโดยอัตราการแจ้งผลบวกลวงเป้าหมาย (target false-positive rate) บนข้อมูลปกติที่แยกไว้ หรือโดยการพิจารณาค่าคะแนน p เปอร์เซ็นต์สูงสุดว่าเป็นความผิดปกติเมื่อไม่มีป้ายกำกับจริง
ข้อผิดพลาดที่พบบ่อย
- การรวมความผิดปกติในชุดข้อมูลฝึกอบรมโดยไม่รู้ตัว - สิ่งนี้จะทำให้โครงสร้างปกติที่เรียนรู้เสียหายและลดทอนคะแนนความผิดปกติสำหรับการปนเปื้อน
- การประเมินเฉพาะบนชุดข้อมูลฝึกอบรมโดยไม่มีตัวอย่างข้อมูลปกติที่แยกไว้เพื่อปรับเทียบเกณฑ์ ทำให้เกิดการติดป้ายความผิดปกติที่มั่นใจเกินไป
- การใช้ความผิดพลาดในการสร้างใหม่เพียงอย่างเดียวโดยไม่ได้ตรวจสอบการมีส่วนร่วมของแต่ละมิติ ซึ่งเป็นการบดบังคุณลักษณะที่ขับเคลื่อนคะแนนความผิดปกติ
- การปฏิบัติต่อเอนเซมเบิลราวกับว่าไม่ต้องการการปรับแต่งใดๆ - จำนวนออโตเอนโค้ดเดอร์ ความลึก และฟังก์ชันการรวม ล้วนส่งผลต่อประสิทธิภาพและควรได้รับการตรวจสอบ
- การใช้วิธีการกับชุดข้อมูลที่มีการสังเกตการณ์น้อยมากเมื่อเทียบกับจำนวนคุณลักษณะ ซึ่งออโตเอนโค้ดเดอร์ไม่สามารถสรุปผลได้ และทุกจุดดูเหมือนผิดปกติ
คำถามที่พบบ่อย
ควรมีออโตเอนโค้ดเดอร์กี่ตัวในเอนเซมเบิล?
งานวิจัยชี้ให้เห็นว่าผลตอบแทนจะลดลงหลังจากประมาณ 10-20 เครือข่ายที่มีความหลากหลาย เริ่มต้นด้วย 10 และตรวจสอบว่าคะแนนรวมมีความเสถียรในการทำงานหลายครั้งหรือไม่ หากยังคงแปรปรวน ให้เพิ่มจำนวนหรือเพิ่มความหลากหลายผ่านการสุ่มเลือกคุณลักษณะบางส่วน
ฉันจะสร้างความหลากหลายในหมู่ออโตเอนโค้ดเดอร์ได้อย่างไร?
กลยุทธ์ทั่วไป ได้แก่ การเริ่มต้นแบบสุ่ม การสุ่มเลือกชุดย่อยของคุณลักษณะอินพุต (feature bagging) ขนาดมิติแฝงที่แตกต่างกัน อัตราการดรอปเอาต์ หรือสถาปัตยกรรมที่แตกต่างกัน (แบบตื้นเทียบกับแบบลึก) Feature bagging เป็นวิธีที่ง่ายที่สุดและมีประสิทธิภาพที่สุดสำหรับข้อมูลแบบตาราง
ข้อมูลฝึกอบรมจำเป็นต้องปราศจากความผิดปกติหรือไม่?
ตามหลักการแล้วใช่ แต่การปนเปื้อนปานกลาง (ต่ำกว่าประมาณ 5%) สามารถทนได้ หากสัดส่วนของความผิดปกติสูงขึ้น ออโตเอนโค้ดเดอร์จะเรียนรู้ที่จะสร้างใหม่ได้ดี และคะแนนความผิดปกติจะลดลง การกรองเบื้องต้นด้วยตัวตรวจจับที่ง่ายกว่า (เช่น Isolation Forest) ก่อนฝึกออโตเอนโค้ดเดอร์สามารถช่วยได้
ฉันควรตั้งค่าเกณฑ์ความผิดปกติอย่างไร?
หากคุณมีอัตราการแจ้งผลบวกลวงเป้าหมาย (เช่น 1%) ให้ตั้งเกณฑ์ที่เปอร์เซ็นไทล์ที่สอดคล้องกันของการกระจายคะแนนบนข้อมูลปกติที่แยกไว้ หากไม่มีป้ายกำกับเลย ให้ถือว่าค่าคะแนน p เปอร์เซ็นต์สูงสุดเป็นความผิดปกติ และตรวจสอบด้วยผู้เชี่ยวชาญเฉพาะทางหรือเมตริกการประเมินดาวน์สตรีม
เมื่อใดที่ออโตเอนโค้ดเดอร์เดี่ยวจะดีกว่าเอนเซมเบิล?
เมื่อข้อจำกัดด้านการประมวลผลมีมาก ชุดข้อมูลมีขนาดเล็ก หรือออโตเอนโค้ดเดอร์ที่ปรับแต่งมาอย่างดีเพียงตัวเดียวแสดงประสิทธิภาพที่เสถียรในการทำงานหลายครั้ง เอนเซมเบิลจะเพิ่มคุณค่าโดยหลักเมื่อความแปรปรวนของโมเดลแต่ละตัวสูง หรือคาดว่าความผิดปกติจะมีความหลากหลาย
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chen, J., Sathe, S., Aggarwal, C., & Turaga, D. (2017). Outlier Detection with Autoencoder Ensembles. In Proceedings of the 2017 SIAM International Conference on Data Mining (SDM), pp. 90–98. SIAM.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วAggarwal, C. C. (2017). Outlier Analysis (2nd ed., Ch. 3 & 9). Springer.
ISBN: 978-3-319-47578-3คัดลอกแล้ว