ออโตเอ็นโค้ดเดอร์
- ผู้เสนอ
- Hinton, G.E. & Salakhutdinov, R.R.
- ปี
- 2006
- ประเภท
- Neural network (encoder-decoder)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
ออโตเอ็นโค้ดเดอร์ (Autoencoder) คือโครงข่ายประสาทเทียมแบบเอ็นโค้ดเดอร์-ดีโค้ดเดอร์ (encoder-decoder neural network) ซึ่งได้รับความนิยมจาก Hinton และ Salakhutdinov ในปี 2006 โดยจะทำการบีบอัดข้อมูลให้อยู่ในรูปของรหัสแฝง (latent code) ที่มีมิติต่ำ แล้วจึงทำการสร้างข้อมูลขึ้นมาใหม่ ทำให้สามารถลดมิติข้อมูล (dimensionality reduction) และตรวจจับความผิดปกติ (anomaly detection) ได้ โดยการเรียนรู้ที่จะสร้างข้อมูลนำเข้าของตนเองขึ้นมาใหม่ผ่านคอขวด (bottleneck) ที่แคบ ทำให้ค้นพบการแทนข้อมูล (representation) ที่กะทัดรัดของข้อมูลได้
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการว่าคุณถูกขอให้สรุปเอกสารขนาดยาวให้อยู่ในประโยคเดียว แล้วจากนั้นให้เขียนเอกสารฉบับเต็มขึ้นมาใหม่จากประโยคนั้นเพียงอย่างเดียว หากต้องการทำเช่นนี้ให้ดี คุณต้องเก็บเฉพาะสิ่งที่สำคัญที่สุดเท่านั้น ออโตเอ็นโค้ดเดอร์จะเรียนรู้วินัยนี้: มันจะบีบอัดการสังเกตแต่ละครั้งผ่านคอขวดที่แคบ และพยายามสร้างข้อมูลต้นฉบับขึ้นมาใหม่จากรหัสที่ถูกบีบอัด สิ่งใดก็ตามที่รอดจากการบีบอัดได้คือแก่นแท้ของข้อมูล และข้อมูลนำเข้าที่โครงข่ายไม่สามารถสร้างขึ้นมาใหม่ได้ดี จะถูกมองว่าเป็นความผิดปกติ
ประวัติศาสตร์
แนวคิดของออโตเอ็นโค้ดเดอร์ในการเรียนรู้รหัสที่กะทัดรัดโดยการสร้างข้อมูลนำเข้าขึ้นมาใหม่ ได้รับการทำให้โดดเด่นโดย Geoffrey Hinton และ Ruslan Salakhutdinov ในบทความ Science ปี 2006 ของพวกเขา ซึ่งแสดงให้เห็นว่าโครงข่ายประสาทเทียมแบบลึก (deep neural networks) สามารถลดมิติข้อมูลได้อย่างมีประสิทธิภาพมากกว่าเทคนิคเชิงเส้นแบบดั้งเดิม งานนี้ช่วยสร้างโครงข่ายประสาทเทียมให้เป็นเครื่องมือที่ใช้งานได้จริงสำหรับการเรียนรู้การแทนข้อมูล
ควรใช้เมื่อใด
ใช้ออโตเอ็นโค้ดเดอร์สำหรับการลดมิติข้อมูลแบบไม่เชิงเส้น (nonlinear dimensionality reduction) หรือการตรวจจับความผิดปกติ (anomaly detection) บนข้อมูลที่มีค่าต่อเนื่อง (continuous-valued data) เมื่อคุณมีตัวอย่างข้อมูลจำนวนมากพอสมควร — ประมาณ 200 ตัวอย่างหรือมากกว่านั้น โครงข่ายนี้ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ (normally distributed data) แต่ต้องการข้อมูลเพียงพอที่จะเรียนรู้ปริภูมิแฝง (latent space) ที่มีความหมาย และการเลือกขนาดของชั้นซ่อนเป็นสิ่งสำคัญ สำหรับตัวอย่างข้อมูลขนาดเล็ก (น้อยกว่าประมาณ 200 ตัวอย่าง) PCA (Principal Component Analysis) เป็นทางเลือกที่ปลอดภัยกว่า และน้อยกว่าประมาณ 50 ตัวอย่าง การลดมิติข้อมูลด้วยโครงข่ายประสาทเทียมจะล้มเหลวโดยสิ้นเชิง
ข้อจำกัดและข้อควรพิจารณา
- ต้องการตัวอย่างข้อมูลจำนวนมากพอสมควร — ประมาณ 200 ตัวอย่างหรือมากกว่านั้น — เพื่อเรียนรู้ปริภูมิแฝงที่มีความหมาย
- การเลือกขนาดของชั้นซ่อน (ปริภูมิแฝง) เป็นสิ่งสำคัญและส่งผลอย่างมากต่อผลลัพธ์
- บนชุดข้อมูลขนาดเล็ก โครงข่ายไม่สามารถเรียนรู้ปริภูมิแฝงได้ และ PCA ที่ง่ายกว่าจะเหมาะสมกว่า
- น้อยกว่าประมาณ 50 ตัวอย่าง การลดมิติข้อมูลที่ใช้โครงข่ายประสาทเทียมจะล้มเหลวโดยสิ้นเชิง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จับโครงสร้างที่ไม่เชิงเส้นที่วิธีการเชิงเส้น เช่น PCA มองข้ามไป
- ทำหน้าที่ทั้งการลดมิติข้อมูลและการตรวจจับความผิดปกติจากตัวแทนที่เรียนรู้มาเดียวกัน
- ข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ
- รหัสแฝงให้การแทนข้อมูลที่กะทัดรัดและเรียนรู้มาของข้อมูลต่อเนื่องที่ซับซ้อน
การประยุกต์ใช้
- การลดมิติข้อมูลแบบไม่เชิงเส้นของข้อมูลต่อเนื่องที่มีมิติสูง
- การตรวจจับความผิดปกติโดยการระบุการสังเกตที่มีข้อผิดพลาดในการสร้างข้อมูลขึ้นมาใหม่สูง
- การเรียนรู้การแทนปริภูมิแฝงที่กะทัดรัดเป็นคุณลักษณะสำหรับงานต่อเนื่อง (downstream tasks)
- การวิเคราะห์เชิงสำรวจ (exploratory analysis) ของข้อมูลที่ซับซ้อนซึ่งการลดมิติแบบเชิงเส้นไม่เพียงพอ
วิธีการทำงาน
วิธีการทำงาน
เอ็นโค้ดเดอร์จะแปลงข้อมูลนำเข้าผ่านชั้นซ่อน (hidden layers) หนึ่งชั้นหรือมากกว่านั้น ลงไปยังรหัสแฝงที่มีมิติต่ำ ขนาดของชั้นซ่อน (คอขวด) นี้คือการตัดสินใจออกแบบที่สำคัญ: หากกว้างเกินไป โครงข่ายจะคัดลอกข้อมูลนำเข้าโดยตรง หากแคบเกินไป โครงข่ายจะสูญเสียโครงสร้างที่มีความหมายไป
สูตร
z = f(Wx + b)
ดีโค้ดเดอร์จะรับรหัสแฝงและขยายกลับผ่านชั้นซ่อนไปยังมิติข้อมูลเดิม สร้างผลลัพธ์เป็นการสร้างข้อมูลนำเข้าขึ้นมาใหม่ เอ็นโค้ดเดอร์และดีโค้ดเดอร์จะถูกฝึกฝนร่วมกันเป็นโครงข่ายเดียว
สูตร
\hat{x} = g(W'z + b')การฝึกฝนจะลดข้อผิดพลาดในการสร้างข้อมูลขึ้นมาใหม่ (reconstruction error) ให้เหลือน้อยที่สุด ซึ่งคือความแตกต่างระหว่างข้อมูลนำเข้าและข้อมูลที่ถูกสร้างขึ้นมาใหม่ เมื่อฝึกฝนเสร็จแล้ว รหัสแฝงจะทำหน้าที่เป็นการแทนข้อมูลที่ถูกบีบอัดสำหรับการลดมิติข้อมูล ในขณะที่ข้อผิดพลาดในการสร้างข้อมูลขึ้นมาใหม่ที่มีค่าสูง จะบ่งชี้ถึงการสังเกตที่ไม่สอดคล้องกับรูปแบบที่เรียนรู้มา ซึ่งสนับสนุนการตรวจจับความผิดปกติ
สูตร
\min \; \lVert x - \hat{x} \rVert^2ข้อผิดพลาดที่พบบ่อย
- การนำไปใช้กับตัวอย่างข้อมูลขนาดเล็กที่ PCA จะเพียงพอและน่าเชื่อถือมากกว่า
- การตั้งค่าคอขวดให้กว้างเกินไป ทำให้โครงข่ายคัดลอกข้อมูลนำเข้าแทนที่จะบีบอัด
- การตั้งค่าคอขวดให้แคบเกินไป ทำให้โครงสร้างที่มีความหมายสูญหายไป
- การใช้งานกับประเภทข้อมูลที่ไม่เหมาะสม แทนที่จะเป็นคุณลักษณะที่มีค่าต่อเนื่อง
คำถามที่พบบ่อย
ออโตเอ็นโค้ดเดอร์แตกต่างจาก PCA อย่างไร?
PCA ค้นหาการฉายภาพเชิงเส้นที่ดีที่สุดของข้อมูล ในขณะที่ออโตเอ็นโค้ดเดอร์สามารถเรียนรู้การแทนข้อมูลแบบไม่เชิงเส้นผ่านชั้นซ่อนได้ สำหรับตัวอย่างข้อมูลขนาดเล็กหรือเมื่อการสรุปเชิงเส้นเพียงพอ PCA จะง่ายกว่าและน่าเชื่อถือกว่า ออโตเอ็นโค้ดเดอร์จะให้ผลตอบแทนเมื่อข้อมูลมีโครงสร้างแบบไม่เชิงเส้นและมีตัวอย่างข้อมูลมากพอ
ฉันต้องการข้อมูลมากแค่ไหน?
ประมาณ 200 ตัวอย่างหรือมากกว่านั้น หากน้อยกว่านั้น โครงข่ายจะไม่สามารถเรียนรู้ปริภูมิแฝงที่มีความหมายได้ และ PCA จะเป็นทางเลือกที่ปลอดภัยกว่า หากน้อยกว่าประมาณ 50 ตัวอย่าง การลดมิติข้อมูลที่ใช้โครงข่ายประสาทเทียมจะล้มเหลวโดยสิ้นเชิง
ฉันจะตรวจจับความผิดปกติด้วยออโตเอ็นโค้ดเดอร์ได้อย่างไร?
หลังจากการฝึกฝน ให้ส่งข้อมูลสังเกตผ่านโครงข่ายและวัดข้อผิดพลาดในการสร้างข้อมูลขึ้นมาใหม่ จุดที่แบบจำลองสร้างขึ้นมาใหม่ได้ไม่ดี — จุดที่มีข้อผิดพลาดสูง — จะไม่สอดคล้องกับรูปแบบที่เรียนรู้มา และจะถูกระบุว่าเป็นความผิดปกติ
การตั้งค่าใดสำคัญที่สุดที่ต้องทำให้ถูกต้อง?
ขนาดของชั้นซ่อน (คอขวด) หากกว้างเกินไป โครงข่ายจะคัดลอกข้อมูลนำเข้าโดยไม่เรียนรู้การบีบอัดที่มีประโยชน์ หากแคบเกินไป โครงข่ายจะทิ้งโครงสร้างที่มีความหมายไป
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว