เครือข่ายคอนโวลูชันแบบขยาย (Dilated CNN)
- ผู้เสนอ
- van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
- ปี
- 2016
- ประเภท
- Deep learning (dilated 1D convolutional network)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Dilated CNN คือเครือข่ายคอนโวลูชันแบบหนึ่งมิติ ซึ่ง receptive field (ขอบเขตการรับรู้) จะเพิ่มขึ้นแบบทวีคูณตามความลึก ทำให้สามารถจำลองโครงสร้างระยะยาวในข้อมูลอนุกรมเวลาและสัญญาณเสียงได้ WaveNet (van den Oord et al., 2016) และ Temporal Convolutional Network ของ Bai, Kolter และ Koltun (2018) เป็นสมาชิกที่โดดเด่นในตระกูลนี้
แนวคิดเบื้องหลังวิธีการ
คอนโวลูชันทั่วไปจะมองย้อนกลับไปเพียงไม่กี่ขั้นตอน ดังนั้น การจะเข้าถึงข้อมูลในอดีตที่ไกลออกไปจะต้องใช้ชั้น (layer) ที่ลึกมาก แต่ dilated convolution จะข้ามข้อมูลโดยมีช่องว่างที่เพิ่มขึ้นเป็นสองเท่าในแต่ละชั้น ดังนั้น แต่ละชั้นที่เพิ่มเข้ามาจะเพิ่มขอบเขตการมองเห็นในอดีตเป็นสองเท่า ทำให้เพียงไม่กี่ชั้นก็สามารถครอบคลุมขั้นตอนเวลาหลายพันขั้นได้ โดยที่จำนวนพารามิเตอร์ยังคงไม่มากนัก
ประวัติศาสตร์
Dilated convolutions สำหรับลำดับได้รับความนิยมจาก WaveNet (van den Oord et al., 2016) ซึ่งใช้ชุดชั้นของ causal dilated convolutions เพื่อสร้างเสียงดิบ Bai, Kolter และ Koltun (2018) ได้ขยายแนวคิดนี้ให้เป็น Temporal Convolutional Network และแสดงให้เห็นเชิงประจักษ์ว่าสถาปัตยกรรมคอนโวลูชันดังกล่าว มักจะเทียบเท่าหรือมีประสิทธิภาพเหนือกว่าเครือข่ายเวียนซ้ำในงานจำลองลำดับที่หลากหลาย
ควรใช้เมื่อใด
ใช้ Dilated CNN สำหรับการพยากรณ์หรือการทำนายข้อมูลอนุกรมเวลาแบบต่อเนื่อง เมื่อการพึ่งพิงระยะยาวมีความสำคัญ และคุณมีข้อมูลสังเกตการณ์อย่างน้อยสองสามร้อยรายการ โมเดลนี้ไม่จำเป็นต้องมีข้อมูลที่กระจายแบบปกติ (normally distributed) แต่ต้องการข้อมูลที่เป็นลำดับ และได้รับประโยชน์อย่างมากจาก GPU และขนาด receptive field ควรจะถูกจับคู่กับงานที่ทำ ลงไปต่ำกว่าประมาณ 500 รายการสังเกตการณ์ โมเดลมักจะเกิด overfitting และต่ำกว่าประมาณ 100 รายการ การฝึกโมเดลคอนโวลูชันแบบลึกนั้นไม่คุ้มค่า
ข้อจำกัดและข้อควรพิจารณา
- ต้องการชุดข้อมูลฝึกหัดขนาดค่อนข้างใหญ่ — เกิด overfitting เมื่อ n ต่ำกว่าประมาณ 500
- จำเป็นต้องใช้ GPU อย่างมีประสิทธิภาพสำหรับการฝึกหัดจริง
- ขนาด receptive field ต้องปรับให้เหมาะกับงาน หากเล็กเกินไปจะพลาดการพึ่งพิงระยะยาว
- การฝึกเครือข่ายลำดับคอนโวลูชันแบบลึกไม่มีความหมายกับลำดับสั้นมาก (n ต่ำกว่าประมาณ 100)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- Receptive field เพิ่มขึ้นแบบทวีคูณตามความลึก จับการพึ่งพิงระยะยาวด้วยชั้นจำนวนน้อย
- คอนโวลูชันสามารถทำงานแบบขนานได้ดี ฝึกได้เร็วกว่าเครือข่ายเวียนซ้ำ (recurrent networks) สำหรับลำดับยาว
- ไม่มีข้อสมมติฐานเรื่องการกระจายแบบปกติ ทำงานโดยตรงกับสัญญาณลำดับต่อเนื่อง
- ได้รับการพิสูจน์แล้วในงานที่ท้าทาย ตั้งแต่การสร้างเสียงดิบของ WaveNet ไปจนถึงการจำลองลำดับทั่วไปของ TCN
การประยุกต์ใช้
- การพยากรณ์อนุกรมเวลาที่การพึ่งพิงระยะยาวมีความสำคัญ
- การสร้างและจำลองเสียงดิบ เช่นใน WaveNet
- การจำลองลำดับทั่วไปเป็นทางเลือกแทนเครือข่ายเวียนซ้ำ (TCN)
- งานทำนายสัญญาณบนลำดับต่อเนื่องยาว
วิธีการทำงาน
วิธีการทำงาน
ตัวกรองคอนโวลูชัน (convolutional filters) จะถูกนำมาใช้โดยมีอัตราการขยาย (dilation rate) ที่เพิ่มขึ้น (โดยทั่วไปคือ 1, 2, 4, 8, ...) จากชั้นหนึ่งไปยังอีกชั้นหนึ่ง แต่ละตัวกรองยังมีน้ำหนักเพียงไม่กี่ตัว แต่ช่องว่างระหว่างข้อมูลที่มันสัมผัสจะกว้างขึ้นตามความลึก ดังนั้น โมเดลจึงสามารถจับรายละเอียดระยะสั้นและพึ่งพิงระยะยาวได้ โดยที่ไม่เกิดปัญหาขนาดโมเดลที่ใหญ่เกินไป
เนื่องจากการขยายตัวเพิ่มขึ้นเป็นสองเท่าในแต่ละชั้น receptive field จึงขยายตัวแบบทวีคูณตามความลึก: ชุดชั้น L ชั้น ที่มีขนาด kernel k สามารถเข้าถึงขั้นตอนในอดีตได้ประมาณหนึ่งพันขั้นตอน โดยใช้เพียงไม่กี่ชั้นเท่านั้น ขนาด receptive field ต้องถูกปรับให้เหมาะสมกับขอบเขต (horizon) ที่งานนั้นต้องการจริง ๆ
สูตร
r = 1 + (k-1)\sum_{l} d_lคอนโวลูชันแบบขยายที่ซ้อนกันจะป้อนข้อมูลไปยังชั้นสุดท้าย ซึ่งจะปล่อยค่าการทำนายสำหรับแต่ละตำแหน่ง — ค่าถัดไปในการพยากรณ์ หรือป้ายกำกับสำหรับขั้นตอนของลำดับ สถาปัตยกรรมเดียวกันนี้เป็นพื้นฐานของการสร้างเสียงดิบ (raw-audio generation) ของ WaveNet และการจำลองลำดับทั่วไป (general sequence modelling) ของ TCN
ข้อผิดพลาดที่พบบ่อย
- การตั้งค่า receptive field เล็กเกินไปจนมองไม่เห็นการพึ่งพิงระยะยาว
- การฝึกบนลำดับสั้นที่โมเดลเกิด overfitting หรือการเรียนรู้ไม่มีความหมาย
- คาดหวังผลลัพธ์ที่ใช้งานได้โดยไม่มี GPU กับลำดับยาว
- การละเลยว่าด้วยข้อมูลน้อยมาก โมเดลที่ง่ายกว่า เช่น tree ensemble เป็นทางเลือกที่ปลอดภัยกว่า
คำถามที่พบบ่อย
ทำไมต้องใช้ dilation แทนที่จะเป็นแค่เครือข่ายที่ลึกกว่า?
Dilation ช่วยให้ receptive field เพิ่มขึ้นแบบทวีคูณ แทนที่จะเป็นแบบเชิงเส้นตามความลึก ดังนั้น เพียงไม่กี่ชั้นก็สามารถเข้าถึงขั้นตอนในอดีตหลายพันขั้นได้ โดยที่จำนวนพารามิเตอร์และการคำนวณยังคงไม่มากนัก
เปรียบเทียบกับเครือข่ายเวียนซ้ำอย่างไร?
Bai, Kolter และ Koltun (2018) พบว่าสถาปัตยกรรมคอนโวลูชัน เช่น TCN มักจะเทียบเท่าหรือดีกว่าเครือข่ายเวียนซ้ำในงานลำดับ และฝึกได้เร็วกว่าเนื่องจากคอนโวลูชันสามารถทำงานแบบขนานข้ามเวลาได้
ต้องใช้ข้อมูลเท่าใด?
วางแผนสำหรับข้อมูลสังเกตการณ์ที่เป็นลำดับอย่างน้อยสองสามร้อยรายการ ต่ำกว่าประมาณ 500 รายการ โมเดลมักจะเกิด overfitting และต่ำกว่าประมาณ 100 รายการ การฝึกโมเดลคอนโวลูชันแบบลึกนั้นไม่คุ้มค่า — โมเดลแบบต้นไม้ (tree-based model) จะปลอดภัยกว่า
จำเป็นต้องใช้ GPU หรือไม่?
แนะนำอย่างยิ่งให้ใช้ GPU หากไม่มี GPU การฝึกบนลำดับยาวจะช้าจนไม่สามารถใช้งานได้จริง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วBai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว