Skip to content
กลับไปยังผลการค้นหา

การถดถอยเชิงเส้นแบบออนไลน์ (Online Linear Regression)

ผู้เสนอ
Widrow, B. & Hoff, M. E. (LMS); Gauss / Plackett (RLS)
ปี
1960 (LMS); 1950 (RLS formalization)
ประเภท
Incremental supervised regression
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยเชิงเส้นแบบออนไลน์ (Online Linear Regression) คือการปรับแบบจำลองเชิงเส้นทีละหนึ่งการสังเกตการณ์ โดยปรับปรุงน้ำหนัก (weights) เพิ่มเติมเมื่อข้อมูลแต่ละจุดมาถึง แตกต่างจากการถดถอยกำลังสองน้อยสุดแบบกลุ่ม (batch least-squares) วิธีนี้ไม่จำเป็นต้องจัดเก็บหรือประมวลผลชุดข้อมูลทั้งหมดใหม่ ทำให้เป็นตัวเลือกที่เหมาะสมสำหรับข้อมูลแบบสตรีม (streaming data) ชุดข้อมูลขนาดใหญ่มาก และสภาพแวดล้อมที่กระบวนการสร้างข้อมูลอาจเปลี่ยนแปลงไปตามกาลเวลา

แนวคิดเบื้องหลังวิธีการ

ลองนึกภาพการปรับปุ่มของตัวทำนายเชิงเส้น (linear predictor) หลังจากการวัดแต่ละครั้ง แทนที่จะรอเก็บข้อมูลทั้งหมดก่อน การสังเกตการณ์ใหม่แต่ละครั้งจะบอกคุณว่าการคาดเดาปัจจุบันของคุณผิดพลาดไปเพียงใด และคุณจะปรับเวกเตอร์น้ำหนักไปในทิศทางที่จะลดข้อผิดพลาดนั้น เมื่อผ่านการสังเกตการณ์จำนวนมาก น้ำหนักจะลู่เข้าสู่ค่าที่ใกล้เคียงกับผลเฉลยของการถดถอยกำลังสองน้อยสุด (ordinary least-squares) แต่คุณได้ผลลัพธ์นั้นโดยไม่ต้องโหลดข้อมูลทั้งหมดเข้าสู่หน่วยความจำ และคุณสามารถปรับเปลี่ยนต่อไปได้หากความสัมพันธ์พื้นฐานมีการเปลี่ยนแปลง

ประวัติศาสตร์

รากฐานทางทฤษฎีสืบย้อนไปถึงวิธีการกำลังสองน้อยสุดของเกาส์ (ต้นศตวรรษที่ 19) และสูตรการคำนวณแบบเวียนเกิด (recursive formulation) ของ Plackett ในปี 1950 รูปแบบออนไลน์ที่ใช้งานได้จริงเกิดขึ้นพร้อมกับอัลกอริทึม Least Mean Squares (LMS) ของ Widrow และ Hoff ในปี 1960 ซึ่งเดิมพัฒนาขึ้นสำหรับการประมวลผลสัญญาณแบบปรับตัว ทฤษฎีการหาค่าเหมาะที่สุดแบบนูน (convex optimisation) แบบออนไลน์ ซึ่งทำให้เป็นรูปธรรมโดย Zinkevich (2003) และสำรวจอย่างครอบคลุมโดย Shalev-Shwartz (2012) ได้วางการถดถอยเชิงเส้นแบบออนไลน์ไว้ในกรอบการลดการสูญเสีย (regret-minimisation) ที่เข้มงวด และแสดงให้เห็นถึงการรับประกันการลู่เข้าที่ใกล้เคียงค่าที่เหมาะสมที่สุด

ควรใช้เมื่อใด

ใช้การถดถอยเชิงเส้นแบบออนไลน์เมื่อข้อมูลมาถึงเป็นสตรีมต่อเนื่องและต้องมีการทำนายทันที เมื่อชุดข้อมูลมีขนาดใหญ่เกินกว่าจะเก็บไว้ในหน่วยความจำสำหรับการปรับแบบกลุ่ม หรือเมื่อความสัมพันธ์ระหว่างตัวทำนายและผลลัพธ์อาจเปลี่ยนแปลงไปตามกาลเวลาและแบบจำลองจำเป็นต้องปรับตัว นอกจากนี้ยังเป็นตัวเลือกที่ดีในฐานะแบบจำลองพื้นฐานที่มีน้ำหนักเบาในระบบการผลิตแบบเรียลไทม์ หลีกเลี่ยงการใช้เมื่อความสัมพันธ์เป็นแบบไม่เชิงเส้นสูง เมื่อต้องทำการสร้างคุณลักษณะ (feature engineering) โดยพิจารณาจากชุดข้อมูลทั้งหมด หรือเมื่อคุณต้องการค่าสัมประสิทธิ์ OLS ที่แม่นยำพร้อมช่วงความเชื่อมั่นสำหรับการอนุมานทางสถิติ ในกรณีเหล่านั้น ให้ใช้การถดถอยเชิงเส้นแบบกลุ่มแทน

ข้อจำกัดและข้อควรพิจารณา

  • มีความไวต่อการเลือกอัตราการเรียนรู้: หากมากเกินไปจะทำให้เกิดการแกว่งตัว หากน้อยเกินไปจะทำให้การลู่เข้าช้า
  • ไม่มีรูปแบบปิด (closed-form) ของค่าคลาดเคลื่อนมาตรฐาน (standard errors) หรือค่า p (p-values) ดังนั้นการอนุมานทางสถิติแบบดั้งเดิมจึงไม่สามารถใช้ได้โดยตรง
  • อาจมีปัญหาเมื่อคุณลักษณะมีความสัมพันธ์กันสูง (multicollinearity) เว้นแต่จะมีการเพิ่มการทำให้เป็นปกติแบบ L2
  • ประสิทธิภาพลดลงเมื่อเทียบกับ OLS แบบกลุ่ม หากมีข้อมูลทั้งหมดอยู่แล้วและไม่มีการเปลี่ยนแปลงแนวคิด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมวลผลข้อมูลทีละหนึ่งการสังเกตการณ์ โดยใช้หน่วยความจำ O(p) โดยที่ p คือจำนวนคุณลักษณะ ไม่จำเป็นต้องใช้ชุดข้อมูลทั้งหมด
  • ปรับตัวเข้ากับการเปลี่ยนแปลงแนวคิดได้อย่างต่อเนื่อง ทำให้เหมาะสำหรับสภาพแวดล้อมที่ไม่คงที่ เช่น อนุกรมเวลาทางการเงิน หรือสตรีมข้อมูลจากเซ็นเซอร์
  • ใช้การคำนวณน้อยในการปรับปรุงแต่ละครั้ง: ผลคูณจุดเดียวและการบวกเวกเตอร์น้ำหนัก
  • สามารถขนานกันได้ตามธรรมชาติในหลายสตรีมหรือหลายพาร์ติชัน
  • ให้ผลการทำนายแบบเรียลไทม์โดยไม่ต้องรอการปรับแบบกลุ่มใหม่

การประยุกต์ใช้

  • การทำนายราคาแบบเรียลไทม์และการพยากรณ์อุปสงค์ในตลาดอีคอมเมิร์ซและตลาดพลังงาน
  • การประมวลผลสัญญาณแบบปรับตัวและการยกเลิกสัญญาณรบกวนโดยใช้การถดถอยกำลังสองน้อยสุดแบบเวียนเกิด
  • การปรับปรุงแบบจำลองอย่างต่อเนื่องในสภาพแวดล้อม IoT และเครือข่ายเซ็นเซอร์ที่ไม่สามารถปรับปรุงแบบกลุ่มใหม่ได้
  • การถดถอยข้อมูลราคาต่อหน่วย (tick-data) ทางการเงิน ซึ่งกระบวนการสร้างข้อมูลมีการเปลี่ยนแปลงบ่อยครั้ง
  • น้ำหนักคุณลักษณะของระบบแนะนำขนาดใหญ่ที่ปรับปรุงเมื่อเหตุการณ์ของผู้ใช้เข้ามา
  • แบบจำลองสตรีมพื้นฐานในไปป์ไลน์ AutoML ก่อนที่จะพิจารณาแบบจำลองที่ซับซ้อนกว่า

วิธีการทำงาน

วิธีการทำงาน

1

กำหนดเวกเตอร์น้ำหนักให้เป็นศูนย์ (หรือค่าสุ่มเล็กน้อย) และเลือกอัตราการเรียนรู้ (learning rate) eta ที่ควบคุมขนาดของขั้นตอนการปรับปรุง อาจมีการกำหนดค่าเริ่มต้นของพจน์การทำให้เป็นปกติ (regularisation term) เช่น L2 (Ridge) เพื่อป้องกันไม่ให้น้ำหนักเพิ่มขึ้นอย่างไม่มีขอบเขตในสตรีมที่ไม่คงที่

สูตร
\mathbf{w}_0 = \mathbf{0},\; \eta > 0
2

สำหรับข้อมูลสังเกตการณ์ x_t ที่เข้ามาแต่ละครั้ง ให้คำนวณค่าที่ทำนายได้ (predicted output) เป็นผลคูณจุด (dot product) ของเวกเตอร์น้ำหนักปัจจุบันกับเวกเตอร์คุณลักษณะ (feature vector) การทำนายนี้จะเกิดขึ้นก่อนที่จะเปิดเผยค่าจริง y_t ซึ่งสะท้อนลักษณะตามลำดับเวลาของสภาพแวดล้อมแบบสตรีมจริง

สูตร
\hat{y}_t = \mathbf{w}_t^\top \mathbf{x}_t
3

หลังจากเปิดเผยค่าจริงแล้ว ให้คำนวณค่าความคลาดเคลื่อนกำลังสองของการทำนาย (squared prediction error) การสูญเสีย (loss) ทันทีนี้จะเป็นตัวขับเคลื่อนสัญญาณเกรเดียนต์ (gradient signal) โดยเกรเดียนต์ของค่าความคลาดเคลื่อนกำลังสองเทียบกับน้ำหนักคือข้อผิดพลาดคูณด้วยเวกเตอร์คุณลักษณะ

สูตร
\ell_t = (y_t - \hat{y}_t)^2
4

ใช้กฎการปรับปรุงแบบ LMS (least mean squares): เลื่อนน้ำหนักไปในทิศทางตรงกันข้ามกับเกรเดียนต์ของค่าความคลาดเคลื่อน ขนาดของขั้นตอน eta ควบคุมการแลกเปลี่ยนระหว่างความเร็วในการปรับตัวและความไวต่อสัญญาณรบกวน ค่า eta ที่น้อยลงจะทำให้การลู่เข้ามีความราบรื่นมากขึ้น ในขณะที่ค่า eta ที่มากขึ้นจะปรับตัวได้เร็วขึ้นแต่ก็เสี่ยงต่อการแกว่งตัว

สูตร
\mathbf{w}_{t+1} = \mathbf{w}_t + \eta\,(y_t - \hat{y}_t)\,\mathbf{x}_t
5

ประมวลผลข้อมูลสังเกตการณ์ถัดไปทันที หรือจัดเก็บข้อมูลเป็นกลุ่มย่อย (mini-batch) สำหรับรูปแบบออนไลน์แบบกลุ่มย่อย ในสภาพแวดล้อมที่ไม่คงที่ อัตราการเรียนรู้ที่ลดลงตามเวลา (decaying learning rate) หรือปัจจัยการลืมแบบหน้าต่างเลื่อน (sliding-window forgetting factor) จะช่วยให้แบบจำลองตอบสนองต่อการเปลี่ยนแปลงแนวคิด (concept drift) ได้ ไม่จำเป็นต้องปรับแบบจำลองใหม่ทั้งหมด

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้คงที่กับข้อมูลที่มีมาตราส่วนคุณลักษณะแตกต่างกันมาก — ควรทำการปรับมาตราส่วนคุณลักษณะแบบออนไลน์เสมอ (เช่น ค่าเฉลี่ยและค่าความแปรปรวนที่กำลังทำงาน) ก่อนทำการปรับปรุง
  • การลืมเพิ่มการทำให้เป็นปกติในกรณีที่มีมิติสูงหรือใกล้เคียงกัน ซึ่งทำให้น้ำหนักเพิ่มขึ้นอย่างมากในสตรีมที่เบาบาง
  • การปฏิบัติต่อน้ำหนักแบบออนไลน์เสมือนกับค่าประมาณ OLS และรายงานด้วยช่วงความเชื่อมั่นของ OLS — ซึ่งไม่เหมือนกัน
  • การละเลยการตรวจจับการเปลี่ยนแปลงแนวคิด: หากการกระจายตัวของข้อมูลเปลี่ยนแปลงอย่างรวดเร็ว อัตราการเรียนรู้คงที่อาจติดตามสัญญาณรบกวนแทนที่จะเป็นสัญญาณจริง
  • การประเมินความแม่นยำเฉพาะเมื่อสิ้นสุดสตรีมที่ยาวนาน แทนที่จะใช้การประเมินแบบ prequential (ทดสอบแล้วฝึก) ตลอดกระบวนการ

คำถามที่พบบ่อย

การถดถอยเชิงเส้นแบบออนไลน์แตกต่างจากการถดถอยเชิงเส้นแบบมาตรฐาน (กลุ่ม) อย่างไร

การถดถอยเชิงเส้นแบบกลุ่มแก้สมการปกติ (normal equations) บนชุดข้อมูลทั้งหมดในครั้งเดียว ทำให้ได้ผลเฉลย OLS ที่แม่นยำ การถดถอยเชิงเส้นแบบออนไลน์ปรับปรุงน้ำหนักทีละน้อยหลังจากการสังเกตการณ์แต่ละครั้งโดยใช้ขั้นตอนเกรเดียนต์ ลู่เข้าสู่ผลเฉลยที่ใกล้เคียง OLS โดยไม่ต้องโหลดข้อมูลทั้งหมด — โดยแลกกับการสูญเสียสถิติการอนุมานที่แม่นยำ

ฉันควรใช้อัตราการเรียนรู้เท่าใด

จุดเริ่มต้นทั่วไปคือ eta = 0.01 หารด้วยค่าคาดหวังของนอร์มกำลังสองของเวกเตอร์คุณลักษณะ การค้นหาแบบกริด (Grid-search) หรือวิธีการปรับตัว (AdaGrad, Adam) จะปรับมาตราส่วนอัตราการเรียนรู้ต่อคุณลักษณะโดยอัตโนมัติ และมักจะปรับแต่งได้ง่ายกว่าอัตราทั่วโลกแบบคงที่

การถดถอยเชิงเส้นแบบออนไลน์สามารถจัดการกับการเปลี่ยนแปลงแนวคิดได้หรือไม่

ได้ อัตราการเรียนรู้คงที่ (ไม่ลดลง) ช่วยให้แบบจำลองตอบสนองต่อการเปลี่ยนแปลงได้ สำหรับการเปลี่ยนแปลงที่ฉับพลัน การทดสอบการตรวจจับการเปลี่ยนแปลง (เช่น ADWIN) สามารถกระตุ้นให้รีเซ็ตน้ำหนักบางส่วนได้ อัตราที่ลดลงจะดีกว่าเมื่อความสัมพันธ์คงที่และคุณต้องการการลู่เข้าในที่สุด

การทำให้เป็นปกติสามารถทำได้ในสภาพแวดล้อมแบบออนไลน์หรือไม่

ได้ การเพิ่มพหุคูณ L2 จะทำให้เกิดการปรับปรุง Ridge (Tikhonov) แบบออนไลน์: ลบส่วนเล็กน้อยของเวกเตอร์น้ำหนักปัจจุบันในแต่ละขั้นตอน สิ่งนี้จะป้องกันไม่ให้น้ำหนักเพิ่มขึ้นมากในสตรีมที่เบาบางหรือมีสัญญาณรบกวน และขอแนะนำอย่างยิ่งในสภาพแวดล้อมที่มีมิติสูง

ฉันจะประเมินแบบจำลองออนไลน์ได้อย่างไร

ใช้การประเมินแบบ prequential (ทดสอบแล้วฝึก): บันทึกค่าความคลาดเคลื่อนของการทำนายในการสังเกตการณ์แต่ละครั้งก่อนที่จะนำไปปรับปรุงแบบจำลอง สิ่งนี้จะให้ค่าประมาณที่ไม่เอนเอียงและตามลำดับเวลาของความคลาดเคลื่อนในการสรุปผลทั่วไป (generalisation error) โดยไม่ต้องมีชุดข้อมูลทดสอบแยกต่างหาก

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Haykin, S. (2002). Adaptive Filter Theory (4th ed.). Prentice Hall.

    ISBN: 978-0130901262
    คัดลอกแล้ว