โครงข่ายประสาทเทียมเชิงอนุพันธ์สามัญ (Neural ODE)
- ผู้เสนอ
- Chen, T. Q. et al.
- ปี
- 2018
- ประเภท
- Continuous-depth neural network (ODE-parameterised dynamics)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Neural ODE ซึ่งนำเสนอโดย Chen และคณะในปี 2018 เป็นแบบจำลองที่แสดงสถานะซ่อนเร้น (hidden state) เป็นผลเฉลยต่อเนื่องของสมการเชิงอนุพันธ์สามัญ (ordinary differential equation) ซึ่งพลวัตถูกกำหนดพารามิเตอร์โดยโครงข่ายประสาทเทียม (neural network) แบบจำลองนี้เป็นกรณีทั่วไปของขีดจำกัดการเชื่อมต่อแบบตกค้าง (residual connections) ทำให้เหมาะอย่างยิ่งสำหรับอนุกรมเวลาที่มีช่วงห่างไม่สม่ำเสมอและการสร้างแบบจำลองทางฟิสิกส์
แนวคิดเบื้องหลังวิธีการ
โครงข่ายประสาทเทียมแบบตกค้างเชิงลึก (deep residual network) จะเพิ่มค่าที่เรียนรู้เล็กน้อยให้กับสถานะซ่อนเร้นในแต่ละชั้น หากจินตนาการว่าชั้นเหล่านั้นหดตัวลงจนเข้าใกล้กันอย่างอนันต์ กองของการปรับปรุงแบบไม่ต่อเนื่องจะกลายเป็นเส้นโค้งที่ราบรื่น และโครงข่ายจะอธิบายอัตราการเปลี่ยนแปลงของสถานะซ่อนเร้นแทนที่จะเป็นจำนวนขั้นตอนที่แน่นอน Neural ODEs นำขีดจำกัดต่อเนื่องนี้มาใช้อย่างแท้จริง: แทนที่จะซ้อนชั้นต่างๆ พวกมันเรียนรู้ความเร็วของสถานะและให้ตัวแก้สมการเชิงอนุพันธ์สามัญ (ODE solver) ทำการอินทิเกรตไปข้างหน้าตามเวลา ดังนั้นสถานะจึงสามารถประเมินได้ ณ เวลาใดก็ได้ ไม่ใช่แค่ที่ขอบเขตชั้นที่กำหนดไว้เท่านั้น
ประวัติศาสตร์
Neural ODEs ถูกนำเสนอโดย Chen, Rubanova, Bettencourt และ Duvenaud ที่ NeurIPS 2018 โดยกำหนดขีดจำกัดต่อเนื่องของโครงข่ายแบบตกค้างเป็นสมการเชิงอนุพันธ์สามัญที่แก้โดยตัวอินทิเกรตเชิงตัวเลขด้วยวิธีแอดจอยต์ที่มีประสิทธิภาพด้านหน่วยความจำ ในปีถัดมา Rubanova และคณะได้ขยายแนวคิดนี้ไปยัง Latent ODEs สำหรับอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอ โดยแสดงให้เห็นว่าการกำหนดรูปแบบเวลาต่อเนื่องสามารถจัดการกับการสังเกตที่มีช่วงห่างไม่เท่ากันได้อย่างเป็นธรรมชาติมากกว่าแบบจำลองแบบเวียนซ้ำแบบไม่ต่อเนื่อง
ควรใช้เมื่อใด
ใช้ Neural ODE สำหรับการทำนายหรือพยากรณ์ข้อมูลเวลาต่อเนื่อง — โดยเฉพาะอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอและวิถีการเคลื่อนที่ตามยาว (longitudinal trajectories) — ซึ่งระบบพลวัตที่ราบรื่นและเปลี่ยนแปลงอย่างต่อเนื่องเป็นแบบจำลองที่เป็นไปได้ แบบจำลองนี้ทำงานกับตัวแปรต่อเนื่องและไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ แต่คาดหวังอนุกรมที่ค่อนข้างยาว (ประมาณ 100 การสังเกตเป็นอย่างน้อย และมากกว่านั้นอย่างเห็นได้ชัดสำหรับการฝึกอบรมที่เสถียร) และตัวแก้สมการเชิงอนุพันธ์สามัญที่ใช้วิธีแอดจอยต์ ในชุดข้อมูลขนาดเล็ก แบบจำลองไม่สามารถเรียนรู้พลวัตต่อเนื่องได้ดีนัก หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ การใช้ชุดต้นไม้ (tree ensemble) เช่น Random Forest จะปลอดภัยกว่า และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมายเลย
ข้อจำกัดและข้อควรพิจารณา
- ต้องการข้อมูลจำนวนมาก: หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ แบบจำลองไม่สามารถเรียนรู้พลวัตได้อย่างน่าเชื่อถือ
- หากมีการสังเกตน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมายโดยพื้นฐานแล้ว
- การฝึกอบรมอาศัยตัวแก้สมการเชิงอนุพันธ์สามัญและวิธีแอดจอยต์ ซึ่งเพิ่มความซับซ้อนเชิงตัวเลขและเชิงวิศวกรรม
- พลวัตที่แข็งกระด้างหรือเปลี่ยนแปลงอย่างรวดเร็วอาจทำให้ตัวแก้สมการทำงานช้าและการฝึกอบรมไม่เสถียร
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จัดการกับอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอและไม่เท่ากันได้อย่างเป็นธรรมชาติ เนื่องจากสถานะถูกกำหนดไว้ ณ จุดเวลาใดก็ได้
- การฝึกอบรมที่มีประสิทธิภาพด้านหน่วยความจำ: วิธีแอดจอยต์ช่วยให้หน่วยความจำคงที่โดยไม่คำนึงถึงความลึกของตัวแก้สมการ
- การปรับให้เข้ากับแบบจำลองทางฟิสิกส์และระบบพลวัตต่อเนื่องอย่างมีหลักการ
- การกำหนดความลึกแบบต่อเนื่องทำให้โครงข่ายแบบตกค้างเป็นกรณีทั่วไป และช่วยให้สามารถแลกเปลี่ยนความแม่นยำกับต้นทุนของตัวแก้สมการได้
การประยุกต์ใช้
- การพยากรณ์และการทำนายบนอนุกรมเวลาที่มีการสุ่มตัวอย่างไม่สม่ำเสมอหรือไม่เท่ากัน
- การสร้างแบบจำลองระบบพลวัตต่อเนื่องและระบบทางฟิสิกส์
- การสร้างแบบจำลองวิถีการเคลื่อนที่ตามยาวที่การสังเกตมาถึง ณ เวลาใดก็ได้
- ทางเลือกความลึกต่อเนื่องสำหรับโครงข่ายประสาทเทียมแบบตกค้างเชิงลึกที่หน่วยความจำมีจำกัด
วิธีการทำงาน
วิธีการทำงาน
แทนที่จะเป็นลำดับชั้นที่ตายตัว โครงข่ายประสาทเทียม f_theta จะกำหนดอัตราการเปลี่ยนแปลงชั่วขณะของสถานะซ่อนเร้นเป็นฟังก์ชันของสถานะปัจจุบันและเวลา สิ่งนี้เปลี่ยนความลึกของโครงข่ายให้เป็นเวลาต่อเนื่อง: แบบจำลองจะระบุว่าสถานะมีการเปลี่ยนแปลงอย่างไร ไม่ใช่ว่าจะต้องใช้การแปลงแบบไม่ต่อเนื่องกี่ครั้ง
สูตร
\frac{dh(t)}{dt} = f_\theta(h(t), t)ในการหาสถานะ ณ เวลาต่อมา ตัวแก้สมการเชิงอนุพันธ์สามัญเชิงตัวเลข (numerical ODE solver) จะทำการอินทิเกรตพลวัตที่เรียนรู้ไปข้างหน้าจากสถานะเริ่มต้น เนื่องจากผลเฉลยถูกกำหนดไว้สำหรับทุกจุดเวลา แบบจำลองจึงสามารถจัดการกับการสังเกตที่มาถึงในช่วงเวลาที่ไม่สม่ำเสมอและไม่เท่ากันได้อย่างเป็นธรรมชาติ โดยไม่ต้องบังคับให้ข้อมูลเหล่านั้นอยู่ในกริดที่กำหนด
สูตร
h(t_1) = h(t_0) + \int_{t_0}^{t_1} f_\theta(h(t), t)\, dtการฝึกอบรมต้องใช้เกรเดียนต์ของฟังก์ชันความคลาดเคลื่อน (loss) เทียบกับพารามิเตอร์ของโครงข่าย วิธีความไวแอดจอยต์ (adjoint sensitivity method) คำนวณสิ่งเหล่านี้โดยการแก้สมการเชิงอนุพันธ์สามัญที่สองย้อนกลับตามเวลา ซึ่งช่วยให้ต้นทุนหน่วยความจำต่ำและคงที่ โดยไม่คำนึงถึงจำนวนขั้นตอนที่ตัวแก้สมการใช้ในการอินทิเกรตไปข้างหน้า
ข้อผิดพลาดที่พบบ่อย
- การนำไปใช้กับอนุกรมที่สั้นมากซึ่งมีสัญญาณน้อยเกินไปที่จะระบุพลวัตต่อเนื่อง
- การละเลยการตั้งค่าความคลาดเคลื่อนของตัวแก้สมการ ทำให้ความแม่นยำและเวลาทำงานไม่ตรงกันโดยไม่รู้ตัว
- การบังคับให้ช่วงเวลาที่ไม่สม่ำเสมออยู่ในกริดปกติและละทิ้งข้อได้เปรียบหลักของวิธีนี้
- การข้ามวิธีแอดจอยต์และใช้หน่วยความจำจนหมดโดยการจัดเก็บทุกขั้นตอนของตัวแก้สมการ
คำถามที่พบบ่อย
Neural ODE แตกต่างจากโครงข่ายแบบตกค้างอย่างไร?
โครงข่ายแบบตกค้างจะเพิ่มค่าที่ไม่ต่อเนื่องในแต่ละชั้นที่มีจำนวนคงที่ Neural ODE ใช้ขีดจำกัดที่ค่าเพิ่มเหล่านั้นกลายเป็นอนันต์เล็กน้อย ดังนั้นโครงข่ายประสาทเทียมจึงกำหนดอัตราการเปลี่ยนแปลงต่อเนื่องของสถานะ และตัวแก้สมการเชิงอนุพันธ์สามัญจะทำการอินทิเกรต ความลึกจึงกลายเป็นเวลาต่อเนื่องแทนที่จะเป็นจำนวนชั้นที่คงที่
เหตุใดจึงใช้วิธีแอดจอยต์ในการฝึกอบรม?
วิธีความไวแอดจอยต์คำนวณเกรเดียนต์โดยการแก้สมการเชิงอนุพันธ์สามัญเสริมย้อนกลับตามเวลา ซึ่งช่วยให้ต้นทุนหน่วยความจำต่ำและคงที่ โดยไม่คำนึงถึงจำนวนขั้นตอนที่ตัวแก้สมการไปข้างหน้าใช้ ซึ่งเป็นเหตุผลหลักที่แนะนำให้ใช้สำหรับการฝึกอบรม Neural ODEs
ฉันควรหลีกเลี่ยง Neural ODE เมื่อใด?
ในชุดข้อมูลขนาดเล็ก หากมีการสังเกตน้อยกว่าประมาณ 500 รายการ แบบจำลองไม่สามารถเรียนรู้พลวัตต่อเนื่องได้อย่างน่าเชื่อถือ และหากน้อยกว่าประมาณ 100 รายการ แบบจำลองที่ใช้ตัวแก้สมการก็ไม่มีความหมาย ในกรณีเหล่านั้น ชุดต้นไม้ เช่น Random Forest หรือ XGBoost เป็นทางเลือกที่ปลอดภัยกว่า
ข้อมูลประเภทใดที่เหมาะสมที่สุด?
อนุกรมเวลาและข้อมูลตามยาวที่มีค่าต่อเนื่อง โดยเฉพาะอย่างยิ่งเมื่อการสังเกตมีการสุ่มตัวอย่างไม่สม่ำเสมอหรือไม่เท่ากัน เนื่องจากสถานะถูกกำหนดไว้ ณ จุดเวลาใดก็ได้ วิธีนี้จึงไม่จำเป็นต้องสุ่มตัวอย่างข้อมูลใหม่บนกริดที่กำหนด
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chen, T. Q., Rubanova, Y., Bettencourt, J. & Duvenaud, D. (2018). Neural Ordinary Differential Equations. Advances in Neural Information Processing Systems (NeurIPS).
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วRubanova, Y., Chen, T. Q. & Duvenaud, D. (2019). Latent ODEs for Irregularly-Sampled Time Series. Advances in Neural Information Processing Systems (NeurIPS).
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว