Skip to content
กลับไปยังผลการค้นหา

การหาค่าเหมาะที่สุดเชิงสุ่ม — SGD และรูปแบบต่างๆ (Stochastic Optimization: SGD and Variants)

ปี
1951 (SGD); 2014 (Adam)
ประเภท
Gradient-based iterative optimization

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การหาค่าเหมาะที่สุดเชิงสุ่ม (stochastic optimization) เป็นกลุ่มของระเบียบวิธีวนซ้ำที่ทำให้ฟังก์ชันวัตถุประสงค์ต่ำสุดโดยการคำนวณเกรเดียนต์จากชุดย่อยของข้อมูลที่สุ่มตัวอย่างมา (มินิแบทช์) แทนที่จะใช้ชุดข้อมูลทั้งหมดในคราวเดียว แนวทางนี้บุกเบิกโดย Robbins และ Monro ในปี 1951 ในชื่อการประมาณเชิงสุ่ม (stochastic approximation) และได้กลายเป็นกลไกมาตรฐานสำหรับการฝึกแบบจำลองการเรียนรู้ของเครื่องขนาดใหญ่ผ่านรูปแบบต่างๆ เช่น SGD with momentum, AdaGrad, RMSProp และ Adam

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการว่าคุณต้องการหาจุดที่ต่ำที่สุดในภูมิประเทศที่เป็นเนินเขากว้างใหญ่ แต่การวัดความชันของภูมิประเทศทั้งหมดในทุกขั้นตอนนั้นมีค่าใช้จ่ายสูงมาก การหาค่าเหมาะที่สุดเชิงสุ่มทำงานโดยการวัดความชันที่พื้นที่สุ่มขนาดเล็กแทน จากนั้นก้าวลงเนิน และทำซ้ำกระบวนการหลายครั้ง แต่ละขั้นตอนย่อยมีสัญญาณรบกวนมากกว่าการวัดภูมิประเทศทั้งหมด แต่จำนวนขั้นตอนที่ประหยัดจำนวนมากจะพาคุณไปถึงจุดต่ำสุดได้เร็วกว่าการวัดที่แม่นยำแต่มีค่าใช้จ่ายสูงเพียงไม่กี่ครั้ง รูปแบบที่ปรับตัวได้เช่น Adam ยังไปไกลกว่านั้นโดยการจดจำว่าแต่ละทิศทางมีความขรุขระเพียงใดและปรับขนาดขั้นตอนตามนั้น

ประวัติศาสตร์

การหาค่าเหมาะที่สุดเชิงสุ่มมีต้นกำเนิดมาจาก Robbins และ Monro (1951) ซึ่งพิสูจน์ว่าการประมาณค่าเกรเดียนต์แบบวนซ้ำจะบรรจบกันไปยังจุดนิ่งของฟังก์ชันภายใต้เงื่อนไขที่ไม่รุนแรง ซึ่งเป็นการก่อตั้งสาขาการประมาณเชิงสุ่ม การลดตามเกรเดียนต์แบบสุ่ม (stochastic gradient descent) ได้รับการใช้งานอย่างแพร่หลายในการเรียนรู้ของเครื่องผ่านงานของ Bottou ในทศวรรษ 1990 เกี่ยวกับแบบจำลองเชิงเส้นขนาดใหญ่ ยุคการเรียนรู้เชิงลึกได้เพิ่มความต้องการวิธีการปรับเปลี่ยนที่มีประสิทธิภาพ: Duchi et al. แนะนำ AdaGrad ในปี 2011, Tieleman และ Hinton เสนอ RMSProp ในปี 2012 และ Kingma และ Ba ตีพิมพ์ Adam ในปี 2014 ซึ่งกลายเป็นตัวหาค่าเหมาะที่สุด (optimizer)เริ่มต้นสำหรับการฝึกโครงข่ายประสาทเทียมอย่างรวดเร็วเนื่องจากความทนทานต่อสถาปัตยกรรมและงานที่หลากหลาย

ควรใช้เมื่อใด

การหาค่าเหมาะที่สุดเชิงสุ่มสามารถนำไปใช้ได้ทุกเมื่อที่คุณต้องการลดฟังก์ชันสูญเสียที่หาอนุพันธ์ได้ (หรือหาอนุพันธ์ย่อยได้) บนชุดข้อมูลขนาดใหญ่ ซึ่งการคำนวณเกรเดียนต์ที่แม่นยำบนชุดข้อมูลทั้งหมดในทุกขั้นตอนนั้นมีค่าใช้จ่ายในการคำนวณสูงเกินไป เป็นแนวทางมาตรฐานสำหรับการฝึกโครงข่ายประสาทเทียม แบบจำลองเชิงเส้นที่มีข้อมูลขนาดใหญ่ และแบบจำลองพารามิเตอร์ใดๆ ที่หาค่าเหมาะที่สุดด้วยการลดตามเกรเดียนต์ ฟังก์ชันวัตถุประสงค์ต้องยอมรับเกรเดียนต์หรือซับเกรเดียนต์ วิธีนี้ไม่สามารถใช้กับปัญหาแบบกล่องดำที่ไม่สามารถหาอนุพันธ์ได้ การเลือกอัตราการเรียนรู้มีความสำคัญอย่างยิ่ง — อัตราที่สูงเกินไปทำให้เกิดการลู่ออก อัตราที่ต่ำเกินไปทำให้การบรรจบกันช้าลง

ข้อจำกัดและข้อควรพิจารณา

  • อัตราการเรียนรู้เป็นไฮเปอร์พารามิเตอร์ที่สำคัญ การเลือกที่ไม่ดีนำไปสู่การลู่ออกหรือการบรรจบกันที่ช้ามาก
  • สัญญาณรบกวนเกรเดียนต์ของมินิแบทช์สามารถป้องกันการบรรจบกันไปยังจุดต่ำสุดที่แม่นยำได้ — ตัวหาค่าเหมาะที่สุด (optimizer)มักจะแกว่งไปมาใกล้จุดเหมาะที่สุดแทนที่จะหยุดนิ่งอย่างแม่นยำ
  • จุดอานม้าและจุดต่ำสุดเฉพาะที่ที่ไม่ดีเป็นความเสี่ยงที่แท้จริงในภูมิประเทศที่ไม่นูน แม้ว่าสัญญาณรบกวนเกรเดียนต์และโมเมนตัมจะช่วยบรรเทาได้
  • Adam และวิธีการปรับเปลี่ยนอื่นๆ สามารถบรรจบกันไปยังจุดต่ำสุดที่คมชัดกว่า ซึ่งgeneralize ได้แย่กว่าจุดต่ำสุดที่แบนกว่าที่พบโดย SGD ธรรมดาพร้อมการปรับแต่งอย่างระมัดระวัง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ขยายขนาดได้กับชุดข้อมูลใหญ่เท่าใดก็ได้ เนื่องจากแต่ละการอัปเดตใช้เพียงมินิแบทช์ ไม่ใช่ข้อมูลทั้งหมด
  • สัญญาณรบกวนเกรเดียนต์จากการสุ่มตัวอย่างมินิแบทช์สามารถช่วยให้หลุดพ้นจากจุดต่ำสุดเฉพาะที่ตื้นและจุดอานม้าได้
  • รูปแบบที่ปรับตัวได้ (Adam, RMSProp) ช่วยลดภาระในการปรับแต่งอัตราการเรียนรู้ด้วยตนเองโดยการปรับขนาดขั้นตอนต่อพารามิเตอร์โดยอัตโนมัติ
  • ได้รับการสนับสนุนอย่างกว้างขวางในทุกเฟรมเวิร์กการเรียนรู้เชิงลึกที่สำคัญและเป็นที่เข้าใจทางทฤษฎีเป็นอย่างดี

การประยุกต์ใช้

  • การฝึกโครงข่ายประสาทเทียมทุกความลึก — ตั้งแต่การถดถอยโลจิสติกส์ไปจนถึงแบบจำลองภาษาขนาดใหญ่
  • การฟิตแบบจำลองเชิงเส้นและแบบจำลองเชิงเส้นทั่วไปขนาดใหญ่ที่การลดตามเกรเดียนต์แบบเต็มแบทช์ไม่สามารถทำได้ในทางคอมพิวเตอร์
  • การตั้งค่าการเรียนรู้ออนไลน์ที่ข้อมูลมาในกระแสและแบบจำลองต้องอัปเดตทีละน้อย
  • วิธีการไล่เกรเดียนต์ของนโยบาย (policy gradient)การเรียนรู้แบบเสริมแรง ซึ่ง Adam และ RMSProp เป็นตัวเลือกมาตรฐาน
  • ระบบแนะนำและแบบจำลองการฝังที่ฝึกบนชุดข้อมูลเบาบางขนาดใหญ่

วิธีการทำงาน

วิธีการทำงาน

1

เวกเตอร์พารามิเตอร์จะถูกกำหนดค่าเริ่มต้น ซึ่งโดยทั่วไปแล้วจะเป็นค่าสุ่มขนาดเล็ก อัตราการเรียนรู้ (ขนาดขั้นตอน) และสำหรับรูปแบบที่ปรับตัวได้ อัตราการลดลงของโมเมนต์จะถูกตั้งค่าเป็นไฮเปอร์พารามิเตอร์ก่อนเริ่มการฝึก การเลือกเหล่านี้มีผลอย่างมากต่อความเร็วในการบรรจบกันและประสิทธิภาพสุดท้าย

2

ในการวนซ้ำแต่ละครั้ง มินิแบทช์ ซึ่งเป็นชุดย่อยสุ่มขนาดเล็กของชุดข้อมูลทั้งหมด จะถูกสุ่มขึ้นมา ขนาดมินิแบทช์ควบคุมการแลกเปลี่ยน: แบทช์ที่เล็กกว่าจะสร้างสัญญาณรบกวนเกรเดียนต์มากขึ้น แต่จะอัปเดตพารามิเตอร์บ่อยขึ้นและมักจะgeneralize ได้ดีกว่า ในขณะที่แบทช์ที่ใหญ่กว่าจะให้ค่าประมาณที่มีความแปรปรวนต่ำกว่าแต่มีค่าใช้จ่ายต่อการวนซ้ำสูงกว่า

3

เกรเดียนต์ของฟังก์ชันวัตถุประสงค์ (ฟังก์ชันสูญเสีย) เทียบกับพารามิเตอร์ปัจจุบันจะถูกคำนวณโดยใช้มินิแบทช์ สำหรับตัวหาค่าเหมาะที่สุดแบบปรับตัวได้ (adaptive optimizer) ค่าประมาณโมเมนต์อันดับหนึ่งและสองของเกรเดียนต์จะถูกรักษาไว้ตลอดการวนซ้ำเพื่อติดตามข้อมูลขนาดและความโค้งต่อพารามิเตอร์

4

พารามิเตอร์จะถูกอัปเดตโดยการเคลื่อนที่ตรงข้ามกับทิศทางเกรเดียนต์ โดยปรับขนาดด้วยอัตราการเรียนรู้ รูปแบบที่ปรับตัวได้ (AdaGrad, RMSProp, Adam) จะหารขั้นตอนของแต่ละพารามิเตอร์ด้วยค่าประมาณที่กำลังดำเนินอยู่ของขนาดเกรเดียนต์ในอดีต ซึ่งทำให้พารามิเตอร์ที่อัปเดตไม่บ่อยมีขั้นตอนที่ใหญ่ขึ้น และพารามิเตอร์ที่เกรเดียนต์มีขนาดใหญ่และสอดคล้องกันมีขั้นตอนที่เล็กลง

5

กระบวนการจะทำซ้ำ — การสุ่มตัวอย่าง การคำนวณเกรเดียนต์ และการอัปเดตพารามิเตอร์ — จนกว่าจะตรงตามเกณฑ์การบรรจบกัน: ค่าสูญเสียหยุดลดลง จำนวนการวนซ้ำสูงสุดถึง หรือประสิทธิภาพการตรวจสอบหยุดดีขึ้น การหยุดก่อนกำหนดบนชุดข้อมูลตรวจสอบที่กันไว้จะช่วยป้องกันการเกิดการเรียนรู้เกินข้อมูล (overfitting)

ข้อผิดพลาดที่พบบ่อย

  • การตั้งค่าอัตราการเรียนรู้สูงเกินไปทำให้ค่าสูญเสียลู่ออกหรือแกว่งไปมาอย่างรุนแรง ควรตรวจสอบเส้นโค้งค่าสูญเสียระหว่างการฝึกเสมอ
  • การลืมสลับข้อมูลก่อนแต่ละ epochสามารถนำไปสู่ความเอนเอียงเป็นรอบในการประมาณค่าเกรเดียนต์ได้
  • การใช้อัตราการเรียนรู้คงที่ตลอดการฝึกมักจะทำให้ประสิทธิภาพไม่เต็มที่ — ตารางอัตราการเรียนรู้ (warm-up, cosine decay) ช่วยให้ผลสุดท้ายดีขึ้นอย่างสม่ำเสมอ
  • การเปรียบเทียบตัวหาค่าเหมาะที่สุด (optimizer)อย่างยุติธรรมต้องจับคู่จำนวนการประเมินเกรเดียนต์ทั้งหมด (หรือเวลาจริง) ไม่ใช่แค่จำนวน epoch
  • การปรับอัตราได้เองของ Adam สามารถยับยั้งสัญญาณเกรเดียนต์ที่เป็นประโยชน์ในการตั้งค่าที่เบาบางได้ บางครั้ง SGD with momentum generalize ได้ดีกว่าสำหรับงานการจำแนกภาพ

คำถามที่พบบ่อย

ฉันควรเลือกตัวหาค่าเหมาะที่สุด (optimizer)ตัวใด — SGD, Adam หรืออย่างอื่น?

Adam เป็นค่าเริ่มต้นที่ปลอดภัยสำหรับงานการเรียนรู้เชิงลึกส่วนใหญ่: มีความทนทานต่อการเลือกอัตราการเรียนรู้และบรรจบกันอย่างรวดเร็ว SGD with momentum และตารางอัตราการเรียนรู้ที่ปรับแต่งแล้วมักจะให้ผล generalization สุดท้ายที่ดีกว่าเล็กน้อยในการเปรียบเทียบการจำแนกภาพ แต่ต้องมีการปรับแต่งอย่างระมัดระวังมากขึ้น AdaGrad เหมาะสำหรับปัญหาเกรเดียนต์ที่เบาบาง (เช่น NLP ที่มีคุณสมบัติ bag-of-words) ในขณะที่ RMSProp ทำงานได้ดีในการฝึกโครงข่ายแบบวนซ้ำ

ฉันจะเลือกอัตราการเรียนรู้ได้อย่างไร?

อัตราการเรียนรู้เป็นไฮเปอร์พารามิเตอร์ที่สำคัญที่สุด การปฏิบัติทั่วไปคือการเริ่มต้นด้วย 1e-3 สำหรับ Adam และ 1e-1 สำหรับ SGD จากนั้นใช้ตัวค้นหาอัตราการเรียนรู้หรือการค้นหาแบบกริด การใช้ระยะ warm-up ตามด้วย cosine หรือ step decay มักจะทำให้ผลดีกว่าอัตราคงที่

ฉันควรใช้ขนาดมินิแบทช์เท่าใด?

ขนาดแบทช์ระหว่าง 32 ถึง 256 เป็นเรื่องปกติ แบทช์ที่เล็กกว่าจะสร้างสัญญาณรบกวนเกรเดียนต์มากขึ้น (ซึ่งสามารถช่วยในgeneralizationได้) และอนุญาตให้อัปเดตได้บ่อยขึ้น แบทช์ที่ใหญ่กว่าจะลดสัญญาณรบกวนแต่generalize ได้ไม่ดีเท่าและต้องมีการปรับขนาดอัตราการเรียนรู้ที่ระมัดระวังมากขึ้น เมื่อเพิ่มขนาดแบทช์เป็นสองเท่า ให้ปรับขนาดอัตราการเรียนรู้ตามสัดส่วน (กฎการปรับขนาดเชิงเส้น) เป็นจุดเริ่มต้น

ฉันจะรู้ได้อย่างไรว่าเมื่อใดควรหยุดการฝึก?

ตรวจสอบค่าสูญเสียบนชุดตรวจสอบ (validation loss) และหยุดเมื่อหยุดดีขึ้นเป็นจำนวนepoch ติดต่อกันที่กำหนด — เทคนิคที่เรียกว่าการหยุดก่อนกำหนด วิธีนี้เชื่อถือได้มากกว่าการหยุดที่จำนวน epoch คงที่และช่วยป้องกันการเกิดการเรียนรู้เกินข้อมูล (overfitting)

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Robbins, H. & Monro, S. (1951). A Stochastic Approximation Method. Annals of Mathematical Statistics, 22(3), 400-407.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Kingma, D.P. & Ba, J. (2015). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations (ICLR 2015).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว