Skip to content
กลับไปยังผลการค้นหา

การค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียม

ผู้เสนอ
Zoph, B. & Le, Q.V.
ปี
2017
ประเภท
Automated architecture optimization (deep learning)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียม (Neural Architecture Search หรือ NAS) ซึ่ง Zoph และ Le ได้นำเสนอในปี 2017 เป็นการปรับปรุงการตัดสินใจเชิงสถาปัตยกรรมโดยอัตโนมัติ เช่น ความลึก ความกว้าง และโครงสร้างการเชื่อมต่อของโครงข่าย แทนที่จะออกแบบด้วยตนเอง วิธีการชั้นนำในสาขานี้ ได้แก่ DARTS, ENAS และ Once-for-All

แนวคิดเบื้องหลังวิธีการ

การออกแบบโครงข่ายประสาทเทียมเชิงลึกด้วยตนเอง หมายถึงการคาดเดาว่าจะต้องวางชั้น (layer) จำนวนเท่าใด แต่ละชั้นควรมีความกว้างเท่าใด และแต่ละชั้นควรเชื่อมต่อกันอย่างไร ซึ่งเป็นกระบวนการลองผิดลองถูกที่ใช้เวลานาน NAS เปลี่ยนกระบวนการนี้ให้เป็นปัญหาการค้นหา โดยคอมพิวเตอร์จะสำรวจพื้นที่ที่กำหนดไว้ของสถาปัตยกรรมที่เป็นไปได้ ประเมินผล และลู่เข้าสู่การออกแบบที่มีประสิทธิภาพ ดังนั้น สถาปัตยกรรมจึงถูกค้นพบแทนที่จะถูกคาดเดา

ประวัติศาสตร์

การค้นหาสถาปัตยกรรมโครงข่ายประสาทเทียม (Neural Architecture Search) ถูกนำเสนอครั้งแรกโดย Barret Zoph และ Quoc V. Le ในปี 2017 ซึ่งพวกเขาใช้การเรียนรู้แบบเสริมกำลัง (reinforcement learning) เพื่อให้ตัวควบคุม (controller) เสนอแนะสถาปัตยกรรมโครงข่าย ต้นทุนที่สูงของแนวทางดังกล่าวได้กระตุ้นให้เกิดวิธีการที่มีประสิทธิภาพมากขึ้น: ENAS ได้นำเสนอการแบ่งปันน้ำหนัก (weight sharing) ระหว่างสถาปัตยกรรมที่เป็นไปได้, DARTS (Liu et al., 2019) ทำให้การค้นหามีคุณสมบัติหาอนุพันธ์ได้ (differentiable) เพื่อให้สามารถปรับให้เหมาะสมด้วยการไล่ระดับสี (gradient descent) และ Once-for-All ได้ฝึกโครงข่ายขนาดใหญ่เพียงโครงข่ายเดียว ซึ่งสามารถดึงโครงข่ายย่อยที่เชี่ยวชาญออกมาได้ การพัฒนาเหล่านี้ร่วมกันได้เปลี่ยน NAS จากความอยากรู้อยากเห็นทางวิชาการที่ต้องใช้การคำนวณมหาศาล ให้กลายเป็นเครื่องมือที่ใช้งานได้จริงมากขึ้นสำหรับการออกแบบโมเดลอัตโนมัติ

ควรใช้เมื่อใด

ใช้ NAS เมื่อคุณต้องการออกแบบโครงข่ายประสาทเทียมเชิงลึกที่มีประสิทธิภาพสูงสำหรับการทำนายหรือการจำแนกประเภทข้อมูลต่อเนื่องหรือข้อมูลข้อความ คุณมีชุดข้อมูลขนาดใหญ่ (ประมาณ 1,000 การสังเกตการณ์ขึ้นไป) ปริภูมิการค้นหาถูกกำหนดไว้อย่างดี และมีงบประมาณการคำนวณจำนวนมากพร้อมทรัพยากร GPU/TPU หากมีตัวอย่างข้อมูลน้อยเกินไป ปริภูมิการค้นหาจะไม่สามารถประเมินได้อย่างน่าเชื่อถือ และสถาปัตยกรรมที่เป็นไปได้จะเกิดการปรับให้เหมาะสมมากเกินไป (overfit) หากมีข้อมูลน้อยกว่าประมาณ 1,000 การสังเกตการณ์ Random Forest จะเป็นตัวเลือกที่ปลอดภัยกว่า และหากมีข้อมูลน้อยกว่า 500 การใช้โมเดลมาตรฐาน เช่น gradient boosting จะเหมาะสมกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการงบประมาณการคำนวณจำนวนมาก และมักจะต้องใช้คลัสเตอร์ GPU หรือ TPU
  • ต้องการชุดข้อมูลขนาดใหญ่ (ประมาณ 1,000 การสังเกตการณ์ขึ้นไป) เพื่อประเมินสถาปัตยกรรมที่เป็นไปได้อย่างน่าเชื่อถือ
  • คุณภาพขึ้นอยู่กับการกำหนดปริภูมิการค้นหาที่ดี ซึ่งต้องอาศัยความเชี่ยวชาญ
  • ในกรณีข้อมูลน้อย สถาปัตยกรรมที่เป็นไปได้จะเกิดการปรับให้เหมาะสมมากเกินไป (overfit) และการค้นหาจะเชื่อถือไม่ได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ทำให้การออกแบบสถาปัตยกรรมเป็นไปโดยอัตโนมัติ ขจัดกระบวนการลองผิดลองถูกด้วยตนเองที่ใช้เวลานาน
  • สามารถค้นพบโครงข่ายที่มีประสิทธิภาพเหนือกว่าการออกแบบด้วยมือสำหรับงานเป้าหมาย
  • สมมติฐานเกี่ยวกับข้อมูลน้อย: ไม่จำเป็นต้องมีการแจกแจงแบบปกติ จัดการกับข้อมูลอินพุตแบบต่อเนื่องและข้อมูลข้อความได้
  • มีความยืดหยุ่นสำหรับงานและโครงสร้างข้อมูลที่หลากหลายเมื่อกำหนดปริภูมิการค้นหาแล้ว
  • รูปแบบการแบ่งปันน้ำหนักและโครงข่ายขนาดใหญ่ (ENAS, Once-for-All) ช่วยลดต้นทุนการค้นหาได้อย่างมาก

การประยุกต์ใช้

  • การออกแบบโครงข่ายการจำแนกประเภทรูปภาพที่มีประสิทธิภาพสูงโดยอัตโนมัติ
  • การปรับปรุงสถาปัตยกรรมสำหรับงานทำนายบนข้อมูลตารางขนาดใหญ่หรือข้อมูลลำดับ
  • การค้นหาสถาปัตยกรรมย่อยที่มีประสิทธิภาพซึ่งปรับให้เหมาะกับงบประมาณฮาร์ดแวร์ (เช่น อุปกรณ์พกพาหรืออุปกรณ์ปลายทาง)
  • การออกแบบโมเดลอัตโนมัติที่การปรับแต่งสถาปัตยกรรมด้วยตนเองไม่สามารถทำได้จริง

วิธีการทำงาน

วิธีการทำงาน

1

ขั้นแรก กำหนดปริภูมิการค้นหา (search space) ซึ่งเป็นชุดของการตัดสินใจเชิงสถาปัตยกรรมที่กระบวนการได้รับอนุญาตให้พิจารณา เช่น จำนวนชั้น ความกว้างของแต่ละชั้น การดำเนินการที่เป็นไปได้ และวิธีการเชื่อมต่อบล็อก การกำหนดปริภูมิการค้นหาที่ดีเป็นสิ่งสำคัญ: หากแคบเกินไป จะไม่รวมการออกแบบที่ดี และหากกว้างเกินไป การค้นหาจะซับซ้อนจนไม่สามารถจัดการได้

2

จากนั้น กลยุทธ์การค้นหา (search strategy) จะสำรวจปริภูมิการค้นหานี้เพื่อค้นหาสถาปัตยกรรมที่มีประสิทธิภาพ NAS ในยุคแรกใช้การเรียนรู้แบบเสริมกำลัง (reinforcement learning) เพื่อเสนอสถาปัตยกรรม (Zoph และ Le) ในขณะที่ DARTS ทำให้การค้นหาหาอนุพันธ์ได้ (differentiable) โดยการผ่อนปรนการเลือกแบบไม่ต่อเนื่อง (discrete choices) ให้เป็นค่าน้ำหนักแบบต่อเนื่อง (continuous weights) เพื่อให้การไล่ระดับสี (gradient descent) สามารถปรับพารามิเตอร์สถาปัตยกรรมให้เหมาะสมกับค่าความสูญเสียในการตรวจสอบ (validation loss) ได้ ขั้นตอนนี้ต้องการพลังการประมวลผลสูง และโดยทั่วไปต้องการคลัสเตอร์ GPU หรือ TPU และงบประมาณการคำนวณจำนวนมาก

สูตร
\alpha^* = \arg\min_{\alpha} \; \mathcal{L}_{val}\big(w^*(\alpha), \alpha\big)
3

สถาปัตยกรรมที่เป็นไปได้แต่ละแบบจะถูกฝึกและประเมินผลบนข้อมูล และการออกแบบที่มีประสิทธิภาพสูงสุดจะถูกเลือกและฝึกจนเสร็จสมบูรณ์ เนื่องจาก การประเมินสถาปัตยกรรมจำนวนมากมีค่าใช้จ่ายสูง วิธีการต่างๆ เช่น ENAS จะแบ่งปันค่าน้ำหนัก (weight sharing) ระหว่างสถาปัตยกรรมที่เป็นไปได้ และ Once-for-All จะฝึกโครงข่ายขนาดใหญ่เพียงโครงข่ายเดียว ซึ่งสามารถดึงสถาปัตยกรรมย่อยจำนวนมากออกมาได้ ช่วยลดต้นทุนการค้นหาได้อย่างมาก

ข้อผิดพลาดที่พบบ่อย

  • การรัน NAS บนชุดข้อมูลขนาดเล็ก ซึ่งสถาปัตยกรรมที่เป็นไปได้เกิดการปรับให้เหมาะสมมากเกินไป (overfit) และการจัดอันดับไม่มีความหมาย
  • การกำหนดปริภูมิการค้นหาที่กว้างเกินไปจนไม่สามารถสำรวจได้ หรือแคบเกินไปจนไม่สามารถรวมการออกแบบที่ดีไว้ได้
  • การประเมินต้นทุนการคำนวณต่ำเกินไป และหยุดการค้นหาก่อนที่จะลู่เข้า
  • การเลือกสถาปัตยกรรมจากการแบ่งข้อมูลเพื่อตรวจสอบ (validation split) และไม่ได้ฝึกใหม่และทดสอบอย่างถูกต้อง
  • การเลือกใช้ NAS เมื่อโมเดลมาตรฐานเพียงพอสำหรับปัญหาแล้ว

คำถามที่พบบ่อย

NAS แตกต่างจากการปรับพารามิเตอร์นอกแบบ (hyperparameter tuning) อย่างไร

การปรับพารามิเตอร์นอกแบบ (Hyperparameter tuning) เป็นการปรับการตั้งค่าของสถาปัตยกรรมที่กำหนดไว้ เช่น อัตราการเรียนรู้ (learning rate) หรือจำนวนต้นไม้ (trees) NAS ค้นหาผ่านตัวสถาปัตยกรรมเอง ซึ่งก็คือจำนวนและความกว้างของชั้น การดำเนินการ และวิธีการเชื่อมต่อกัน โดยเป็นการค้นพบโครงสร้างโครงข่าย แทนที่จะเพียงแค่ปรับแต่งโครงข่ายที่เลือกไว้

เหตุใด NAS จึงใช้พลังการคำนวณสูงมาก

NAS แบบพื้นฐานจะฝึกและประเมินสถาปัตยกรรมที่เป็นไปได้จำนวนมาก ซึ่งแต่ละสถาปัตยกรรมคือโครงข่ายประสาทเทียมเชิงลึกเต็มรูปแบบ โดยทั่วไปแล้วต้องการคลัสเตอร์ GPU หรือ TPU และงบประมาณจำนวนมาก วิธีการต่างๆ เช่น ENAS (การแบ่งปันน้ำหนัก) และ Once-for-All (โครงข่ายขนาดใหญ่เพียงโครงข่ายเดียว) ถูกพัฒนาขึ้นโดยเฉพาะเพื่อลดต้นทุนนี้

ฉันต้องการข้อมูลเท่าใดสำหรับ NAS

NAS คาดหวังชุดข้อมูลขนาดใหญ่ ประมาณ 1,000 การสังเกตการณ์ขึ้นไป หากมีข้อมูลน้อยกว่าประมาณ 1,000 การสังเกตการณ์ ปริภูมิการค้นหาจะไม่สามารถประเมินได้อย่างน่าเชื่อถือ และสถาปัตยกรรมที่เป็นไปได้จะเกิดการปรับให้เหมาะสมมากเกินไป (overfit) ดังนั้น Random Forest จึงปลอดภัยกว่า หากมีข้อมูลน้อยกว่า 500 การใช้โมเดลมาตรฐาน เช่น gradient boosting จะเหมาะสมกว่า

DARTS มีส่วนช่วยอะไรบ้าง

DARTS ทำให้การค้นหามีคุณสมบัติหาอนุพันธ์ได้ (differentiable) โดยการผ่อนปรนการเลือกการดำเนินการแบบไม่ต่อเนื่อง (discrete choice) ให้เป็นค่าน้ำหนักแบบต่อเนื่อง (continuous weights) เพื่อให้สามารถปรับสถาปัตยกรรมให้เหมาะสมด้วยการไล่ระดับสี (gradient descent) แทนที่จะใช้การเรียนรู้แบบเสริมกำลัง (reinforcement learning) สิ่งนี้ทำให้การค้นหาสถาปัตยกรรมเร็วขึ้นมากเมื่อเทียบกับแนวทางเดิมที่ใช้การเรียนรู้แบบเสริมกำลัง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Zoph, B. & Le, Q.V. (2017). Neural Architecture Search with Reinforcement Learning. ICLR.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Liu, H. et al. (2019). DARTS: Differentiable Architecture Search. ICLR.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว