Skip to content
กลับไปยังผลการค้นหา

โครงข่ายประสาทเทียมเชิงอนุพันธ์สามัญ (Neural ODE)

ผู้เสนอ
Chen, T. Q. et al.
ปี
2018
ประเภท
Continuous-depth neural network (ODE-parameterised dynamics)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Neural ODE ซึ่งนำเสนอโดย Chen และคณะในปี 2018 เป็นแบบจำลองที่แสดงสถานะซ่อนเร้น (hidden state) เป็นผลเฉลยต่อเนื่องของสมการเชิงอนุพันธ์สามัญ (ordinary differential equation) ซึ่งพลวัตถูกกำหนดพารามิเตอร์โดยโครงข่ายประสาทเทียม (neural network) แบบจำลองนี้เป็นกรณีทั่วไปของขีดจำกัดการเชื่อมต่อแบบตกค้าง (residual connections) ทำให้เหมาะอย่างยิ่งสำหรับอนุกรมเวลาที่มีช่วงห่างไม่สม่ำเสมอและการสร้างแบบจำลองทางฟิสิกส์

แนวคิดเบื้องหลังวิธีการ

โครงข่ายประสาทเทียมแบบตกค้างเชิงลึก (deep residual network) จะเพิ่มค่าที่เรียนรู้เล็กน้อยให้กับสถานะซ่อนเร้นในแต่ละชั้น หากจินตนาการว่าชั้นเหล่านั้นหดตัวลงจนเข้าใกล้กันอย่างอนันต์ กองของการปรับปรุงแบบไม่ต่อเนื่องจะกลายเป็นเส้นโค้งที่ราบรื่น และโครงข่ายจะอธิบายอัตราการเปลี่ยนแปลงของสถานะซ่อนเร้นแทนที่จะเป็นจำนวนขั้นตอนที่แน่นอน Neural ODEs นำขีดจำกัดต่อเนื่องนี้มาใช้อย่างแท้จริง: แทนที่จะซ้อนชั้นต่างๆ พวกมันเรียนรู้ความเร็วของสถานะและให้ตัวแก้สมการเชิงอนุพันธ์สามัญ (ODE solver) ทำการอินทิเกรตไปข้างหน้าตามเวลา ดังนั้นสถานะจึงสามารถประเมินได้ ณ เวลาใดก็ได้ ไม่ใช่แค่ที่ขอบเขตชั้นที่กำหนดไว้เท่านั้น

ประวัติศาสตร์

Neural ODEs ถูกนำเสนอโดย Chen, Rubanova, Bettencourt และ Duvenaud ที่ NeurIPS 2018 โดยกำหนดขีดจำกัดต่อเนื่องของโครงข่ายแบบตกค้างเป็นสมการเชิงอนุพันธ์สามัญที่แก้โดยตัวอินทิเกรตเชิงตัวเลขด้วยวิธีแอดจอยต์ที่มีประสิทธิภาพด้านหน่วยความจำ ในปีถัดมา Rubanova และคณะได้ขยายแนวคิดนี้ไปยัง Latent ODEs สำหรับอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอ โดยแสดงให้เห็นว่าการกำหนดรูปแบบเวลาต่อเนื่องสามารถจัดการกับการสังเกตที่มีช่วงห่างไม่เท่ากันได้อย่างเป็นธรรมชาติมากกว่าแบบจำลองแบบเวียนซ้ำแบบไม่ต่อเนื่อง

ควรใช้เมื่อใด

ใช้ Neural ODE สำหรับการทำนายหรือพยากรณ์ข้อมูลเวลาต่อเนื่อง — โดยเฉพาะอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอและวิถีการเคลื่อนที่ตามยาว (longitudinal trajectories) — ซึ่งระบบพลวัตที่ราบรื่นและเปลี่ยนแปลงอย่างต่อเนื่องเป็นแบบจำลองที่เป็นไปได้ แบบจำลองนี้ทำงานกับตัวแปรต่อเนื่องและไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ แต่คาดหวังอนุกรมที่ค่อนข้างยาว (ประมาณ 100 การสังเกตเป็นอย่างน้อย และมากกว่านั้นอย่างเห็นได้ชัดสำหรับการฝึกอบรมที่เสถียร) และตัวแก้สมการเชิงอนุพันธ์สามัญที่ใช้วิธีแอดจอยต์ ในชุดข้อมูลขนาดเล็ก แบบจำลองไม่สามารถเรียนรู้พลวัตต่อเนื่องได้ดีนัก หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ การใช้ชุดต้นไม้ (tree ensemble) เช่น Random Forest จะปลอดภัยกว่า และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมายเลย

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการข้อมูลจำนวนมาก: หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ แบบจำลองไม่สามารถเรียนรู้พลวัตได้อย่างน่าเชื่อถือ
  • หากมีการสังเกตน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมายโดยพื้นฐานแล้ว
  • การฝึกอบรมอาศัยตัวแก้สมการเชิงอนุพันธ์สามัญและวิธีแอดจอยต์ ซึ่งเพิ่มความซับซ้อนเชิงตัวเลขและเชิงวิศวกรรม
  • พลวัตที่แข็งกระด้างหรือเปลี่ยนแปลงอย่างรวดเร็วอาจทำให้ตัวแก้สมการทำงานช้าและการฝึกอบรมไม่เสถียร

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • จัดการกับอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอและไม่เท่ากันได้อย่างเป็นธรรมชาติ เนื่องจากสถานะถูกกำหนดไว้ ณ จุดเวลาใดก็ได้
  • การฝึกอบรมที่มีประสิทธิภาพด้านหน่วยความจำ: วิธีแอดจอยต์ช่วยให้หน่วยความจำคงที่โดยไม่คำนึงถึงความลึกของตัวแก้สมการ
  • การปรับให้เข้ากับแบบจำลองทางฟิสิกส์และระบบพลวัตต่อเนื่องอย่างมีหลักการ
  • การกำหนดความลึกแบบต่อเนื่องทำให้โครงข่ายแบบตกค้างเป็นกรณีทั่วไป และช่วยให้สามารถแลกเปลี่ยนความแม่นยำกับต้นทุนของตัวแก้สมการได้

การประยุกต์ใช้

  • การพยากรณ์และการทำนายบนอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอหรือไม่เท่ากัน
  • การสร้างแบบจำลองระบบพลวัตต่อเนื่องและระบบทางฟิสิกส์
  • การสร้างแบบจำลองวิถีการเคลื่อนที่ตามยาวที่การสังเกตมาถึง ณ เวลาใดก็ได้
  • ทางเลือกความลึกต่อเนื่องสำหรับโครงข่ายประสาทเทียมแบบตกค้างเชิงลึกที่หน่วยความจำมีจำกัด

วิธีการทำงาน

วิธีการทำงาน

1

แทนที่จะเป็นลำดับชั้นที่ตายตัว โครงข่ายประสาทเทียม f_theta จะกำหนดอัตราการเปลี่ยนแปลงชั่วขณะของสถานะซ่อนเร้นเป็นฟังก์ชันของสถานะปัจจุบันและเวลา สิ่งนี้เปลี่ยนความลึกของโครงข่ายให้เป็นเวลาต่อเนื่อง: แบบจำลองจะระบุว่าสถานะมีการเปลี่ยนแปลงอย่างไร ไม่ใช่ว่าจะต้องใช้การแปลงแบบไม่ต่อเนื่องกี่ครั้ง

สูตร
\frac{dh(t)}{dt} = f_\theta(h(t), t)
2

ในการหาสถานะ ณ เวลาต่อมา ตัวแก้สมการเชิงอนุพันธ์สามัญเชิงตัวเลข (numerical ODE solver) จะทำการอินทิเกรตพลวัตที่เรียนรู้ไปข้างหน้าจากสถานะเริ่มต้น เนื่องจากผลเฉลยถูกกำหนดไว้สำหรับทุกจุดเวลา แบบจำลองจึงสามารถจัดการกับการสังเกตที่มาถึงในช่วงเวลาที่ไม่สม่ำเสมอและไม่เท่ากันได้อย่างเป็นธรรมชาติ โดยไม่ต้องบังคับให้ข้อมูลเหล่านั้นอยู่ในกริดที่กำหนด

สูตร
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dt
3

การฝึกอบรมต้องใช้เกรเดียนต์ของฟังก์ชันความคลาดเคลื่อน (loss) เทียบกับพารามิเตอร์ของโครงข่าย วิธีความไวแอดจอยต์ (adjoint sensitivity method) คำนวณสิ่งเหล่านี้โดยการแก้สมการเชิงอนุพันธ์สามัญที่สองย้อนกลับตามเวลา ซึ่งช่วยให้ต้นทุนหน่วยความจำต่ำและคงที่ โดยไม่คำนึงถึงจำนวนขั้นตอนที่ตัวแก้สมการใช้ในการอินทิเกรตไปข้างหน้า

ข้อผิดพลาดที่พบบ่อย

  • การนำไปใช้กับอนุกรมที่สั้นมากซึ่งมีสัญญาณน้อยเกินไปที่จะระบุพลวัตต่อเนื่อง
  • การละเลยการตั้งค่าความคลาดเคลื่อนของตัวแก้สมการ ทำให้ความแม่นยำและเวลาทำงานไม่ตรงกันโดยไม่รู้ตัว
  • การบังคับให้ช่วงเวลาที่ไม่สม่ำเสมออยู่ในกริดปกติและละทิ้งข้อได้เปรียบหลักของวิธีนี้
  • การข้ามวิธีแอดจอยต์และใช้หน่วยความจำจนหมดโดยการจัดเก็บทุกขั้นตอนของตัวแก้สมการ

คำถามที่พบบ่อย

Neural ODE แตกต่างจากโครงข่ายแบบตกค้างอย่างไร?

โครงข่ายแบบตกค้างจะเพิ่มค่าที่ไม่ต่อเนื่องในแต่ละชั้นที่มีจำนวนคงที่ Neural ODE ใช้ขีดจำกัดที่ค่าเพิ่มเหล่านั้นกลายเป็นอนันต์เล็กน้อย ดังนั้นโครงข่ายประสาทเทียมจึงกำหนดอัตราการเปลี่ยนแปลงต่อเนื่องของสถานะ และตัวแก้สมการเชิงอนุพันธ์สามัญจะทำการอินทิเกรต ความลึกจึงกลายเป็นเวลาต่อเนื่องแทนที่จะเป็นจำนวนชั้นที่คงที่

เหตุใดจึงใช้วิธีแอดจอยต์ในการฝึกอบรม?

วิธีความไวแอดจอยต์คำนวณเกรเดียนต์โดยการแก้สมการเชิงอนุพันธ์สามัญเสริมย้อนกลับตามเวลา ซึ่งช่วยให้ต้นทุนหน่วยความจำต่ำและคงที่ โดยไม่คำนึงถึงจำนวนขั้นตอนที่ตัวแก้สมการไปข้างหน้าใช้ ซึ่งเป็นเหตุผลหลักที่แนะนำให้ใช้สำหรับการฝึกอบรม Neural ODEs

ฉันควรหลีกเลี่ยง Neural ODE เมื่อใด?

ในชุดข้อมูลขนาดเล็ก หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ แบบจำลองไม่สามารถเรียนรู้พลวัตต่อเนื่องได้อย่างน่าเชื่อถือ และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมาย ในกรณีเหล่านั้น ชุดต้นไม้ เช่น Random Forest หรือ XGBoost เป็นทางเลือกที่ปลอดภัยกว่า

ข้อมูลประเภทใดที่เหมาะสมที่สุด?

อนุกรมเวลาและข้อมูลตามยาวที่มีค่าต่อเนื่อง โดยเฉพาะอย่างยิ่งเมื่อการสังเกตมีการสุ่มตัวอย่างไม่สม่ำเสมอหรือไม่เท่ากัน เนื่องจากสถานะถูกกำหนดไว้ ณ จุดเวลาใดก็ได้ วิธีนี้จึงไม่จำเป็นต้องสุ่มตัวอย่างข้อมูลใหม่บนกริดที่กำหนด

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Rubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว