Skip to content
กลับไปยังผลการค้นหา

เครือข่ายคอนโวลูชันแบบขยาย (Dilated CNN)

ผู้เสนอ
van den Oord, A. et al.; Bai, S., Kolter, J.Z. & Koltun, V.
ปี
2016
ประเภท
Deep learning (dilated 1D convolutional network)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Dilated CNN คือเครือข่ายคอนโวลูชันแบบหนึ่งมิติ ซึ่ง receptive field (ขอบเขตการรับรู้) จะเพิ่มขึ้นแบบทวีคูณตามความลึก ทำให้สามารถจำลองโครงสร้างระยะยาวในข้อมูลอนุกรมเวลาและสัญญาณเสียงได้ WaveNet (van den Oord et al., 2016) และ Temporal Convolutional Network ของ Bai, Kolter และ Koltun (2018) เป็นสมาชิกที่โดดเด่นในตระกูลนี้

แนวคิดเบื้องหลังวิธีการ

คอนโวลูชันทั่วไปจะมองย้อนกลับไปเพียงไม่กี่ขั้นตอน ดังนั้น การจะเข้าถึงข้อมูลในอดีตที่ไกลออกไปจะต้องใช้ชั้น (layer) ที่ลึกมาก แต่ dilated convolution จะข้ามข้อมูลโดยมีช่องว่างที่เพิ่มขึ้นเป็นสองเท่าในแต่ละชั้น ดังนั้น แต่ละชั้นที่เพิ่มเข้ามาจะเพิ่มขอบเขตการมองเห็นในอดีตเป็นสองเท่า ทำให้เพียงไม่กี่ชั้นก็สามารถครอบคลุมขั้นตอนเวลาหลายพันขั้นได้ โดยที่จำนวนพารามิเตอร์ยังคงไม่มากนัก

ประวัติศาสตร์

Dilated convolutions สำหรับลำดับได้รับความนิยมจาก WaveNet (van den Oord et al., 2016) ซึ่งใช้ชุดชั้นของ causal dilated convolutions เพื่อสร้างเสียงดิบ Bai, Kolter และ Koltun (2018) ได้ขยายแนวคิดนี้ให้เป็น Temporal Convolutional Network และแสดงให้เห็นเชิงประจักษ์ว่าสถาปัตยกรรมคอนโวลูชันดังกล่าว มักจะเทียบเท่าหรือมีประสิทธิภาพเหนือกว่าเครือข่ายเวียนซ้ำในงานจำลองลำดับที่หลากหลาย

ควรใช้เมื่อใด

ใช้ Dilated CNN สำหรับการพยากรณ์หรือการทำนายข้อมูลอนุกรมเวลาแบบต่อเนื่อง เมื่อการพึ่งพิงระยะยาวมีความสำคัญ และคุณมีข้อมูลสังเกตการณ์อย่างน้อยสองสามร้อยรายการ โมเดลนี้ไม่จำเป็นต้องมีข้อมูลที่กระจายแบบปกติ (normally distributed) แต่ต้องการข้อมูลที่เป็นลำดับ และได้รับประโยชน์อย่างมากจาก GPU และขนาด receptive field ควรจะถูกจับคู่กับงานที่ทำ ลงไปต่ำกว่าประมาณ 500 รายการสังเกตการณ์ โมเดลมักจะเกิด overfitting และต่ำกว่าประมาณ 100 รายการ การฝึกโมเดลคอนโวลูชันแบบลึกนั้นไม่คุ้มค่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการชุดข้อมูลฝึกหัดขนาดค่อนข้างใหญ่ — เกิด overfitting เมื่อ n ต่ำกว่าประมาณ 500
  • จำเป็นต้องใช้ GPU อย่างมีประสิทธิภาพสำหรับการฝึกหัดจริง
  • ขนาด receptive field ต้องปรับให้เหมาะกับงาน หากเล็กเกินไปจะพลาดการพึ่งพิงระยะยาว
  • การฝึกเครือข่ายลำดับคอนโวลูชันแบบลึกไม่มีความหมายกับลำดับสั้นมาก (n ต่ำกว่าประมาณ 100)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • Receptive field เพิ่มขึ้นแบบทวีคูณตามความลึก จับการพึ่งพิงระยะยาวด้วยชั้นจำนวนน้อย
  • คอนโวลูชันสามารถทำงานแบบขนานได้ดี ฝึกได้เร็วกว่าเครือข่ายเวียนซ้ำ (recurrent networks) สำหรับลำดับยาว
  • ไม่มีข้อสมมติฐานเรื่องการกระจายแบบปกติ ทำงานโดยตรงกับสัญญาณลำดับต่อเนื่อง
  • ได้รับการพิสูจน์แล้วในงานที่ท้าทาย ตั้งแต่การสร้างเสียงดิบของ WaveNet ไปจนถึงการจำลองลำดับทั่วไปของ TCN

การประยุกต์ใช้

  • การพยากรณ์อนุกรมเวลาที่การพึ่งพิงระยะยาวมีความสำคัญ
  • การสร้างและจำลองเสียงดิบ เช่นใน WaveNet
  • การจำลองลำดับทั่วไปเป็นทางเลือกแทนเครือข่ายเวียนซ้ำ (TCN)
  • งานทำนายสัญญาณบนลำดับต่อเนื่องยาว

วิธีการทำงาน

วิธีการทำงาน

1

ตัวกรองคอนโวลูชัน (convolutional filters) จะถูกนำมาใช้โดยมีอัตราการขยาย (dilation rate) ที่เพิ่มขึ้น (โดยทั่วไปคือ 1, 2, 4, 8, ...) จากชั้นหนึ่งไปยังอีกชั้นหนึ่ง แต่ละตัวกรองยังมีน้ำหนักเพียงไม่กี่ตัว แต่ช่องว่างระหว่างข้อมูลที่มันสัมผัสจะกว้างขึ้นตามความลึก ดังนั้น โมเดลจึงสามารถจับรายละเอียดระยะสั้นและพึ่งพิงระยะยาวได้ โดยที่ไม่เกิดปัญหาขนาดโมเดลที่ใหญ่เกินไป

2

เนื่องจากการขยายตัวเพิ่มขึ้นเป็นสองเท่าในแต่ละชั้น receptive field จึงขยายตัวแบบทวีคูณตามความลึก: ชุดชั้น L ชั้น ที่มีขนาด kernel k สามารถเข้าถึงขั้นตอนในอดีตได้ประมาณหนึ่งพันขั้นตอน โดยใช้เพียงไม่กี่ชั้นเท่านั้น ขนาด receptive field ต้องถูกปรับให้เหมาะสมกับขอบเขต (horizon) ที่งานนั้นต้องการจริง ๆ

สูตร
r = 1 + (k-1)\sum_{l} d_l
3

คอนโวลูชันแบบขยายที่ซ้อนกันจะป้อนข้อมูลไปยังชั้นสุดท้าย ซึ่งจะปล่อยค่าการทำนายสำหรับแต่ละตำแหน่ง — ค่าถัดไปในการพยากรณ์ หรือป้ายกำกับสำหรับขั้นตอนของลำดับ สถาปัตยกรรมเดียวกันนี้เป็นพื้นฐานของการสร้างเสียงดิบ (raw-audio generation) ของ WaveNet และการจำลองลำดับทั่วไป (general sequence modelling) ของ TCN

ข้อผิดพลาดที่พบบ่อย

  • การตั้งค่า receptive field เล็กเกินไปจนมองไม่เห็นการพึ่งพิงระยะยาว
  • การฝึกบนลำดับสั้นที่โมเดลเกิด overfitting หรือการเรียนรู้ไม่มีความหมาย
  • คาดหวังผลลัพธ์ที่ใช้งานได้โดยไม่มี GPU กับลำดับยาว
  • การละเลยว่าด้วยข้อมูลน้อยมาก โมเดลที่ง่ายกว่า เช่น tree ensemble เป็นทางเลือกที่ปลอดภัยกว่า

คำถามที่พบบ่อย

ทำไมต้องใช้ dilation แทนที่จะเป็นแค่เครือข่ายที่ลึกกว่า?

Dilation ช่วยให้ receptive field เพิ่มขึ้นแบบทวีคูณ แทนที่จะเป็นแบบเชิงเส้นตามความลึก ดังนั้น เพียงไม่กี่ชั้นก็สามารถเข้าถึงขั้นตอนในอดีตหลายพันขั้นได้ โดยที่จำนวนพารามิเตอร์และการคำนวณยังคงไม่มากนัก

เปรียบเทียบกับเครือข่ายเวียนซ้ำอย่างไร?

Bai, Kolter และ Koltun (2018) พบว่าสถาปัตยกรรมคอนโวลูชัน เช่น TCN มักจะเทียบเท่าหรือดีกว่าเครือข่ายเวียนซ้ำในงานลำดับ และฝึกได้เร็วกว่าเนื่องจากคอนโวลูชันสามารถทำงานแบบขนานข้ามเวลาได้

ต้องใช้ข้อมูลเท่าใด?

วางแผนสำหรับข้อมูลสังเกตการณ์ที่เป็นลำดับอย่างน้อยสองสามร้อยรายการ ต่ำกว่าประมาณ 500 รายการ โมเดลมักจะเกิด overfitting และต่ำกว่าประมาณ 100 รายการ การฝึกโมเดลคอนโวลูชันแบบลึกนั้นไม่คุ้มค่า — โมเดลแบบต้นไม้ (tree-based model) จะปลอดภัยกว่า

จำเป็นต้องใช้ GPU หรือไม่?

แนะนำอย่างยิ่งให้ใช้ GPU หากไม่มี GPU การฝึกบนลำดับยาวจะช้าจนไม่สามารถใช้งานได้จริง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. van den Oord, A. et al. (2016). WaveNet: A Generative Model for Raw Audio. arXiv.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Bai, S., Kolter, J.Z. & Koltun, V. (2018). An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling. arXiv:1803.01271.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว