Skip to content
กลับไปยังผลการค้นหา

การเรียนรู้แบบออนไลน์

ผู้เสนอ
Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
ปี
1958–2000s
ประเภท
Learning paradigm (sequential model update)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การเรียนรู้แบบออนไลน์ (Online learning) เป็นกระบวนทัศน์การเรียนรู้ของเครื่องที่แบบจำลองได้รับการปรับปรุงเพิ่มขึ้นทีละน้อยเมื่อมีข้อมูลใหม่เข้ามาทีละจุด แทนที่จะได้รับการฝึกฝนเพียงครั้งเดียวบนชุดข้อมูลที่ตายตัว วิธีการนี้มีความจำเป็นเมื่อข้อมูลไหลเข้ามาอย่างต่อเนื่อง พื้นที่จัดเก็บมีจำกัด หรือการกระจายตัวของข้อมูลพื้นฐานมีการเปลี่ยนแปลงตลอดเวลา ประสิทธิภาพเชิงทฤษฎีวัดจากความเสียใจสะสม (cumulative regret) เมื่อเทียบกับตัวทำนายแบบคงที่ที่ดีที่สุดเมื่อมองย้อนหลัง

แนวคิดเบื้องหลังวิธีการ

ในการเรียนรู้แบบแบตช์ (batch learning) แบบดั้งเดิม คุณจะรวบรวมข้อมูลทั้งหมดก่อนแล้วจึงทำการฝึกฝน แต่การเรียนรู้แบบออนไลน์จะกลับกัน: แบบจำลองจะได้รับตัวอย่างทีละหนึ่งรายการ ทำการทำนาย เห็นผลลัพธ์ที่แท้จริง และปรับปรุงตัวเองทันที ลองนึกถึงนักลงทุนที่ปรับกลยุทธ์ของตนหลังจากการซื้อขายแต่ละครั้ง แทนที่จะรอจนถึงสิ้นปี การรับประกันทางทฤษฎีที่สำคัญคือความเสียใจที่ต่ำ (low regret) — ในหลายรอบการเรียนรู้ ความสูญเสียรวมของผู้เรียนแบบออนไลน์จะน้อยเกือบเท่ากับกลยุทธ์แบบคงที่ที่ดีที่สุดเพียงหนึ่งเดียวที่เลือกไว้เมื่อมองย้อนหลัง

ประวัติศาสตร์

กระบวนทัศน์การเรียนรู้แบบออนไลน์มีที่มาจาก Perceptron ของ Rosenblatt (1958) และได้รับการกำหนดเป็นทางการทางทฤษฎีโดย Littlestone (แบบจำลอง Mistake Bound, 1988) และ Freund & Schapire (Winnow, Hedge, ทศวรรษ 1990) กรอบการทำงานการปรับให้เหมาะสมแบบนูนออนไลน์ (online convex optimization) ซึ่งรวมการวิเคราะห์ความเสียใจในหลายอัลกอริทึม ได้รับการพัฒนาโดย Zinkevich (2003) และได้รับการสำรวจอย่างกว้างขวางโดย Shalev-Shwartz (2011) FTRL และ AdaGrad เวอร์ชันต่างๆ ขับเคลื่อนระบบอุตสาหกรรมขนาดใหญ่ในบริษัทต่างๆ เช่น Google

ควรใช้เมื่อใด

ใช้การเรียนรู้แบบออนไลน์เมื่อข้อมูลมาถึงเป็นกระแสต่อเนื่องและการฝึกฝนใหม่ตั้งแต่ต้นเป็นเรื่องที่ไม่สามารถทำได้จริง; เมื่อการกระจายตัวของข้อมูลเปลี่ยนแปลงไปตามเวลา (แนวคิดคลาดเคลื่อน หรือ concept drift) และแบบจำลองต้องปรับตัวโดยไม่ต้องฝึกฝนใหม่ทั้งหมด; หรือเมื่อข้อจำกัดด้านพื้นที่จัดเก็บและหน่วยความจำทำให้ไม่สามารถเก็บชุดข้อมูลทั้งหมดได้ เหมาะสำหรับระบบแนะนำ การตรวจจับการฉ้อโกง ท่อประมวลผลภาษาธรรมชาติ และแอปพลิเคชันข้อมูลเซ็นเซอร์ ห้ามใช้เมื่อปริมาณข้อมูลมีน้อยและคงที่ (การเรียนรู้แบบแบตช์ง่ายกว่าและมีประสิทธิภาพเท่ากัน); เมื่อต้องเห็นชุดข้อมูลทั้งหมดหลายครั้งเพื่อให้เกิดการลู่เข้า (เช่น โครงข่ายประสาทเทียมเชิงลึกบนชุดข้อมูลขนาดเล็ก); หรือเมื่อความสามารถในการทำซ้ำและท่อการประเมินแบบออฟไลน์มีความสำคัญและโครงสร้างพื้นฐานการสตรีมไม่พร้อมใช้งาน

ข้อจำกัดและข้อควรพิจารณา

  • ไวต่ออัตราการเรียนรู้และการเลือกไฮเปอร์พารามิเตอร์; อัตราที่ไม่ดีทำให้เกิดการลู่เข้าช้าหรือไม่เสถียร
  • ประสิทธิภาพในแต่ละขั้นตอนขึ้นอยู่กับลำดับของตัวอย่าง ทำให้ผลลัพธ์ไวต่อลำดับ
  • เมตริกการประเมินแบบแบตช์ (การตรวจสอบข้าม, ชุดทดสอบแบบแยก) ไม่สามารถนำมาใช้ได้โดยตรง; จำเป็นต้องมีการประเมินแบบ prequential แทน
  • การฝึกโครงข่ายประสาทเทียมเชิงลึกมักต้องมีการวนซ้ำหลายครั้งบนข้อมูล (epochs) ซึ่งขัดแย้งกับการตั้งค่าออนไลน์แบบผ่านเดียวที่เข้มงวด

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • จัดการกับกระแสข้อมูลที่ไม่มีขอบเขตด้วยหน่วยความจำคงที่ ทำให้สามารถปรับขนาดได้กับชุดข้อมูลขนาดใหญ่หรือไม่มีที่สิ้นสุด
  • ปรับตัวโดยอัตโนมัติกับการคลาดเคลื่อนของแนวคิด (concept drift) และการเปลี่ยนแปลงการกระจายตัวของข้อมูลโดยไม่ต้องมีตัวกระตุ้นการฝึกฝนใหม่ที่ชัดเจน
  • ให้การรับประกันทางทฤษฎีที่แข็งแกร่งผ่านขอบเขตความเสียใจ (regret bounds) ซึ่งวัดประสิทธิภาพกรณีที่เลวร้ายที่สุดเทียบกับคู่แข่งแบบคงที่ใดๆ
  • การอัปเดตที่มีความหน่วงต่ำทำให้เหมาะสำหรับแอปพลิเคชันแบบเรียลไทม์และที่ต้องคำนึงถึงเวลา
  • อัลกอริทึมหลายตัว (SGD, AdaGrad, FTRL) มีคุณสมบัติการลู่เข้าและความเสียใจที่เข้าใจได้ดี

การประยุกต์ใช้

  • การทำนายอัตราการคลิกผ่านแบบเรียลไทม์และการโฆษณาออนไลน์ (FTRL-Proximal ในระดับ Google)
  • การตรวจจับการฉ้อโกงและความผิดปกติบนกระแสธุรกรรมทางการเงินที่ต้องการการอัปเดตแบบจำลองทันที
  • ท่อประมวลผลภาษาธรรมชาติบนฟีดข่าวหรือโซเชียลมีเดียที่มีคำศัพท์ที่เปลี่ยนแปลงไป
  • การจำแนกข้อมูลเซ็นเซอร์และ IoT ที่ปริมาณข้อมูลขัดขวางการจัดเก็บแบบแบตช์
  • ระบบแนะนำที่ต้องปรับตัวทันทีตามความชอบของผู้ใช้ที่เปลี่ยนแปลงไป
  • การกรองสแปมแบบปรับตัวที่คำจำกัดความของสแปมมีการพัฒนาอย่างต่อเนื่อง

วิธีการทำงาน

วิธีการทำงาน

1

ในแต่ละช่วงเวลา t ผู้เรียนจะได้รับเวกเตอร์คุณลักษณะใหม่ x_t จากกระแสข้อมูล อินสแตนซ์จะถูกประมวลผลทันทีและไม่ถูกจัดเก็บถาวร ทำให้กระบวนทัศน์นี้มีประสิทธิภาพด้านหน่วยความจำแม้สำหรับกระแสข้อมูลที่ไม่มีขอบเขต

2

แบบจำลองปัจจุบัน f_t สร้างการทำนายสำหรับ x_t ก่อนที่จะมีการเปิดเผยป้ายกำกับที่แท้จริง แบบจำลองอาจเป็นตัวจำแนกเชิงเส้น โครงข่ายประสาทเทียมขนาดเล็ก กฎการตัดสินใจ หรือฟังก์ชันพารามิเตอร์ใดๆ ที่เก็บไว้ในหน่วยความจำ

สูตร
\hat{y}_t = f_t(x_t)
3

หลังจากทำนาย ผู้เรียนจะสังเกตป้ายกำกับที่แท้จริง y_t และคำนวณความสูญเสีย สัญญาณตอบรับนี้จะวัดว่าการทำนายปัจจุบันผิดพลาดไปมากน้อยเพียงใด และขับเคลื่อนการปรับปรุงพารามิเตอร์ในภายหลัง

สูตร
\ell_t = \ell(\hat{y}_t, y_t)
4

พารามิเตอร์ของแบบจำลองจะได้รับการปรับปรุงโดยใช้เกรเดียนต์ของความสูญเสียเทียบกับพารามิเตอร์ปัจจุบัน โดยปรับขนาดด้วยอัตราการเรียนรู้ อัลกอริทึมทั่วไปได้แก่ Perceptron, Stochastic Gradient Descent, AdaGrad และ Follow-the-Regularized-Leader (FTRL)

สูตร
w_{t+1} = w_t - \eta_t \nabla \ell_t
5

ประสิทธิภาพจะถูกประเมินโดยความเสียใจสะสม: ความแตกต่างระหว่างความสูญเสียรวมของผู้เรียนแบบออนไลน์และความสูญเสียรวมของตัวทำนายแบบคงที่ที่ดีที่สุดที่ทราบเมื่อมองย้อนหลัง การเติบโตของความเสียใจแบบต่ำกว่าเชิงเส้น (เช่น O(sqrt(T))) รับประกันว่าผู้เรียนจะลู่เข้าสู่พฤติกรรมที่ใกล้เคียงที่สุด

สูตร
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)

ข้อผิดพลาดที่พบบ่อย

  • การใช้อัตราการเรียนรู้แบบคงที่เมื่อจำเป็นต้องใช้ AdaGrad หรือกำหนดการลดลง — ทำให้เกิดการเรียนรู้ช้าหรือการลู่เข้าที่แตกต่างกัน
  • การละเลยการตรวจสอบการคลาดเคลื่อนของแนวคิด: แม้แต่แบบจำลองออนไลน์ก็อาจล้าหลังการเปลี่ยนแปลงการกระจายตัวอย่างกะทันหันได้หากไม่ได้รับการติดตามอย่างชัดเจน
  • การสับสนระหว่าง 'การเรียนรู้แบบออนไลน์' กับการเรียนรู้บนเว็บ (e-learning); ความหมายของการเรียนรู้ของเครื่องคือการปรับปรุงแบบจำลองแบบเพิ่มขึ้นทีละน้อยอย่างเคร่งครัด
  • การประเมินด้วยการตรวจสอบข้ามแบบแบตช์แทนการประเมินแบบ prequential (ทดสอบแล้วฝึก) ซึ่งประเมินประสิทธิภาพสูงเกินไปหรือต่ำเกินไป
  • การนำการเรียนรู้แบบออนไลน์ไปใช้กับชุดข้อมูลขนาดเล็กและคงที่ ซึ่งวิธีการแบบแบตช์ที่ง่ายกว่าพร้อมการตรวจสอบข้ามที่เหมาะสมจะเหมาะสมกว่า

คำถามที่พบบ่อย

การเรียนรู้แบบออนไลน์เหมือนกับการไล่ระดับความชันแบบสุ่ม (stochastic gradient descent) หรือไม่

SGD เป็นอัลกอริทึมการปรับให้เหมาะสมที่ใช้บ่อยที่สุดในการเรียนรู้แบบออนไลน์ แต่ไม่เหมือนกัน การเรียนรู้แบบออนไลน์เป็นกระบวนทัศน์ (ประมวลผลตัวอย่างหนึ่งรายการ อัปเดต แล้วดำเนินการต่อ); SGD เป็นกฎการอัปเดต การเรียนรู้แบบออนไลน์อาจใช้กฎการอัปเดตอื่นๆ เช่น Perceptron, AdaGrad หรือ FTRL

ฉันจะประเมินแบบจำลองที่ฝึกด้วยการเรียนรู้แบบออนไลน์ได้อย่างไร

ใช้การประเมินแบบ prequential (เรียกอีกอย่างว่า test-then-train): สำหรับแต่ละตัวอย่างที่เข้ามา ให้ทำนายก่อน บันทึกข้อผิดพลาด จากนั้นอัปเดต ค่าเฉลี่ยเคลื่อนที่ของข้อผิดพลาดจะให้ค่าประมาณที่ไม่ลำเอียงของประสิทธิภาพแบบเรียลไทม์โดยไม่จำเป็นต้องมีชุดข้อมูลแยกต่างหาก

การเรียนรู้แบบออนไลน์จัดการกับการคลาดเคลื่อนของแนวคิด (concept drift) อย่างไร

เนื่องจากพารามิเตอร์ได้รับการอัปเดตหลังจากแต่ละตัวอย่าง แบบจำลองจึงติดตามการเปลี่ยนแปลงการกระจายตัวอย่างช้าๆ ได้อย่างเป็นธรรมชาติ สำหรับการคลาดเคลื่อนอย่างกะทันหัน ซึ่งตรวจพบอย่างชัดเจนโดยการตรวจสอบอัตราข้อผิดพลาดหรือการทดสอบทางสถิติ (เช่น DDM, ADWIN) อาจจำเป็นต้องใช้อัตราการเรียนรู้ที่สูงขึ้นหรือการรีเซ็ตแบบจำลอง

ความเสียใจ (regret) คืออะไรและทำไมจึงสำคัญ

ความเสียใจคือความสูญเสียเพิ่มเติมสะสมที่เกิดจากอัลกอริทึมออนไลน์เมื่อเทียบกับตัวทำนายแบบคงที่ที่ดีที่สุดที่เลือกโดยมีความรู้ทั้งหมดเมื่อมองย้อนหลัง ความเสียใจแบบต่ำกว่าเชิงเส้น (เติบโตช้ากว่า T) รับประกันว่าความสูญเสียเฉลี่ยต่อรอบจะลู่เข้าสู่ค่าที่เหมาะสมที่สุด ซึ่งให้ใบรับรองประสิทธิภาพกรณีที่เลวร้ายที่สุดที่เข้มงวด

โครงข่ายประสาทเทียมเชิงลึกสามารถฝึกในลักษณะออนไลน์ได้หรือไม่

ได้ แต่มีข้อควรระวัง โดยทั่วไป DNNs ต้องการหลายยุคสมัย (epochs) บนข้อมูลเพื่อให้เกิดการลู่เข้าที่เสถียร ซึ่งขัดแย้งกับข้อจำกัดออนไลน์แบบผ่านเดียวที่เข้มงวด ในทางปฏิบัติ mini-batch streaming SGD ถูกใช้เป็นการประนีประนอม — ประมวลผลแบตช์ล่าสุดของตัวอย่างไม่กี่รายการก่อนที่จะอัปเดตน้ำหนัก

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Cesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.

    ISBN: 978-0-521-84108-5
    คัดลอกแล้ว