การเรียนรู้แบบออนไลน์
- ผู้เสนอ
- Rosenblatt, F.; Littlestone, N.; Shalev-Shwartz, S. (key contributors)
- ปี
- 1958–2000s
- ประเภท
- Learning paradigm (sequential model update)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การเรียนรู้แบบออนไลน์ (Online learning) เป็นกระบวนทัศน์การเรียนรู้ของเครื่องที่แบบจำลองได้รับการปรับปรุงเพิ่มขึ้นทีละน้อยเมื่อมีข้อมูลใหม่เข้ามาทีละจุด แทนที่จะได้รับการฝึกฝนเพียงครั้งเดียวบนชุดข้อมูลที่ตายตัว วิธีการนี้มีความจำเป็นเมื่อข้อมูลไหลเข้ามาอย่างต่อเนื่อง พื้นที่จัดเก็บมีจำกัด หรือการกระจายตัวของข้อมูลพื้นฐานมีการเปลี่ยนแปลงตลอดเวลา ประสิทธิภาพเชิงทฤษฎีวัดจากความเสียใจสะสม (cumulative regret) เมื่อเทียบกับตัวทำนายแบบคงที่ที่ดีที่สุดเมื่อมองย้อนหลัง
แนวคิดเบื้องหลังวิธีการ
ในการเรียนรู้แบบแบตช์ (batch learning) แบบดั้งเดิม คุณจะรวบรวมข้อมูลทั้งหมดก่อนแล้วจึงทำการฝึกฝน แต่การเรียนรู้แบบออนไลน์จะกลับกัน: แบบจำลองจะได้รับตัวอย่างทีละหนึ่งรายการ ทำการทำนาย เห็นผลลัพธ์ที่แท้จริง และปรับปรุงตัวเองทันที ลองนึกถึงนักลงทุนที่ปรับกลยุทธ์ของตนหลังจากการซื้อขายแต่ละครั้ง แทนที่จะรอจนถึงสิ้นปี การรับประกันทางทฤษฎีที่สำคัญคือความเสียใจที่ต่ำ (low regret) — ในหลายรอบการเรียนรู้ ความสูญเสียรวมของผู้เรียนแบบออนไลน์จะน้อยเกือบเท่ากับกลยุทธ์แบบคงที่ที่ดีที่สุดเพียงหนึ่งเดียวที่เลือกไว้เมื่อมองย้อนหลัง
ประวัติศาสตร์
กระบวนทัศน์การเรียนรู้แบบออนไลน์มีที่มาจาก Perceptron ของ Rosenblatt (1958) และได้รับการกำหนดเป็นทางการทางทฤษฎีโดย Littlestone (แบบจำลอง Mistake Bound, 1988) และ Freund & Schapire (Winnow, Hedge, ทศวรรษ 1990) กรอบการทำงานการปรับให้เหมาะสมแบบนูนออนไลน์ (online convex optimization) ซึ่งรวมการวิเคราะห์ความเสียใจในหลายอัลกอริทึม ได้รับการพัฒนาโดย Zinkevich (2003) และได้รับการสำรวจอย่างกว้างขวางโดย Shalev-Shwartz (2011) FTRL และ AdaGrad เวอร์ชันต่างๆ ขับเคลื่อนระบบอุตสาหกรรมขนาดใหญ่ในบริษัทต่างๆ เช่น Google
ควรใช้เมื่อใด
ใช้การเรียนรู้แบบออนไลน์เมื่อข้อมูลมาถึงเป็นกระแสต่อเนื่องและการฝึกฝนใหม่ตั้งแต่ต้นเป็นเรื่องที่ไม่สามารถทำได้จริง; เมื่อการกระจายตัวของข้อมูลเปลี่ยนแปลงไปตามเวลา (แนวคิดคลาดเคลื่อน หรือ concept drift) และแบบจำลองต้องปรับตัวโดยไม่ต้องฝึกฝนใหม่ทั้งหมด; หรือเมื่อข้อจำกัดด้านพื้นที่จัดเก็บและหน่วยความจำทำให้ไม่สามารถเก็บชุดข้อมูลทั้งหมดได้ เหมาะสำหรับระบบแนะนำ การตรวจจับการฉ้อโกง ท่อประมวลผลภาษาธรรมชาติ และแอปพลิเคชันข้อมูลเซ็นเซอร์ ห้ามใช้เมื่อปริมาณข้อมูลมีน้อยและคงที่ (การเรียนรู้แบบแบตช์ง่ายกว่าและมีประสิทธิภาพเท่ากัน); เมื่อต้องเห็นชุดข้อมูลทั้งหมดหลายครั้งเพื่อให้เกิดการลู่เข้า (เช่น โครงข่ายประสาทเทียมเชิงลึกบนชุดข้อมูลขนาดเล็ก); หรือเมื่อความสามารถในการทำซ้ำและท่อการประเมินแบบออฟไลน์มีความสำคัญและโครงสร้างพื้นฐานการสตรีมไม่พร้อมใช้งาน
ข้อจำกัดและข้อควรพิจารณา
- ไวต่ออัตราการเรียนรู้และการเลือกไฮเปอร์พารามิเตอร์; อัตราที่ไม่ดีทำให้เกิดการลู่เข้าช้าหรือไม่เสถียร
- ประสิทธิภาพในแต่ละขั้นตอนขึ้นอยู่กับลำดับของตัวอย่าง ทำให้ผลลัพธ์ไวต่อลำดับ
- เมตริกการประเมินแบบแบตช์ (การตรวจสอบข้าม, ชุดทดสอบแบบแยก) ไม่สามารถนำมาใช้ได้โดยตรง; จำเป็นต้องมีการประเมินแบบ prequential แทน
- การฝึกโครงข่ายประสาทเทียมเชิงลึกมักต้องมีการวนซ้ำหลายครั้งบนข้อมูล (epochs) ซึ่งขัดแย้งกับการตั้งค่าออนไลน์แบบผ่านเดียวที่เข้มงวด
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- จัดการกับกระแสข้อมูลที่ไม่มีขอบเขตด้วยหน่วยความจำคงที่ ทำให้สามารถปรับขนาดได้กับชุดข้อมูลขนาดใหญ่หรือไม่มีที่สิ้นสุด
- ปรับตัวโดยอัตโนมัติกับการคลาดเคลื่อนของแนวคิด (concept drift) และการเปลี่ยนแปลงการกระจายตัวของข้อมูลโดยไม่ต้องมีตัวกระตุ้นการฝึกฝนใหม่ที่ชัดเจน
- ให้การรับประกันทางทฤษฎีที่แข็งแกร่งผ่านขอบเขตความเสียใจ (regret bounds) ซึ่งวัดประสิทธิภาพกรณีที่เลวร้ายที่สุดเทียบกับคู่แข่งแบบคงที่ใดๆ
- การอัปเดตที่มีความหน่วงต่ำทำให้เหมาะสำหรับแอปพลิเคชันแบบเรียลไทม์และที่ต้องคำนึงถึงเวลา
- อัลกอริทึมหลายตัว (SGD, AdaGrad, FTRL) มีคุณสมบัติการลู่เข้าและความเสียใจที่เข้าใจได้ดี
การประยุกต์ใช้
- การทำนายอัตราการคลิกผ่านแบบเรียลไทม์และการโฆษณาออนไลน์ (FTRL-Proximal ในระดับ Google)
- การตรวจจับการฉ้อโกงและความผิดปกติบนกระแสธุรกรรมทางการเงินที่ต้องการการอัปเดตแบบจำลองทันที
- ท่อประมวลผลภาษาธรรมชาติบนฟีดข่าวหรือโซเชียลมีเดียที่มีคำศัพท์ที่เปลี่ยนแปลงไป
- การจำแนกข้อมูลเซ็นเซอร์และ IoT ที่ปริมาณข้อมูลขัดขวางการจัดเก็บแบบแบตช์
- ระบบแนะนำที่ต้องปรับตัวทันทีตามความชอบของผู้ใช้ที่เปลี่ยนแปลงไป
- การกรองสแปมแบบปรับตัวที่คำจำกัดความของสแปมมีการพัฒนาอย่างต่อเนื่อง
วิธีการทำงาน
วิธีการทำงาน
ในแต่ละช่วงเวลา t ผู้เรียนจะได้รับเวกเตอร์คุณลักษณะใหม่ x_t จากกระแสข้อมูล อินสแตนซ์จะถูกประมวลผลทันทีและไม่ถูกจัดเก็บถาวร ทำให้กระบวนทัศน์นี้มีประสิทธิภาพด้านหน่วยความจำแม้สำหรับกระแสข้อมูลที่ไม่มีขอบเขต
แบบจำลองปัจจุบัน f_t สร้างการทำนายสำหรับ x_t ก่อนที่จะมีการเปิดเผยป้ายกำกับที่แท้จริง แบบจำลองอาจเป็นตัวจำแนกเชิงเส้น โครงข่ายประสาทเทียมขนาดเล็ก กฎการตัดสินใจ หรือฟังก์ชันพารามิเตอร์ใดๆ ที่เก็บไว้ในหน่วยความจำ
สูตร
\hat{y}_t = f_t(x_t)หลังจากทำนาย ผู้เรียนจะสังเกตป้ายกำกับที่แท้จริง y_t และคำนวณความสูญเสีย สัญญาณตอบรับนี้จะวัดว่าการทำนายปัจจุบันผิดพลาดไปมากน้อยเพียงใด และขับเคลื่อนการปรับปรุงพารามิเตอร์ในภายหลัง
สูตร
\ell_t = \ell(\hat{y}_t, y_t)พารามิเตอร์ของแบบจำลองจะได้รับการปรับปรุงโดยใช้เกรเดียนต์ของความสูญเสียเทียบกับพารามิเตอร์ปัจจุบัน โดยปรับขนาดด้วยอัตราการเรียนรู้ อัลกอริทึมทั่วไปได้แก่ Perceptron, Stochastic Gradient Descent, AdaGrad และ Follow-the-Regularized-Leader (FTRL)
สูตร
w_{t+1} = w_t - \eta_t \nabla \ell_tประสิทธิภาพจะถูกประเมินโดยความเสียใจสะสม: ความแตกต่างระหว่างความสูญเสียรวมของผู้เรียนแบบออนไลน์และความสูญเสียรวมของตัวทำนายแบบคงที่ที่ดีที่สุดที่ทราบเมื่อมองย้อนหลัง การเติบโตของความเสียใจแบบต่ำกว่าเชิงเส้น (เช่น O(sqrt(T))) รับประกันว่าผู้เรียนจะลู่เข้าสู่พฤติกรรมที่ใกล้เคียงที่สุด
สูตร
R_T = \sum_{t=1}^{T} \ell_t - \min_{f} \sum_{t=1}^{T} \ell(f(x_t), y_t)ข้อผิดพลาดที่พบบ่อย
- การใช้อัตราการเรียนรู้แบบคงที่เมื่อจำเป็นต้องใช้ AdaGrad หรือกำหนดการลดลง — ทำให้เกิดการเรียนรู้ช้าหรือการลู่เข้าที่แตกต่างกัน
- การละเลยการตรวจสอบการคลาดเคลื่อนของแนวคิด: แม้แต่แบบจำลองออนไลน์ก็อาจล้าหลังการเปลี่ยนแปลงการกระจายตัวอย่างกะทันหันได้หากไม่ได้รับการติดตามอย่างชัดเจน
- การสับสนระหว่าง 'การเรียนรู้แบบออนไลน์' กับการเรียนรู้บนเว็บ (e-learning); ความหมายของการเรียนรู้ของเครื่องคือการปรับปรุงแบบจำลองแบบเพิ่มขึ้นทีละน้อยอย่างเคร่งครัด
- การประเมินด้วยการตรวจสอบข้ามแบบแบตช์แทนการประเมินแบบ prequential (ทดสอบแล้วฝึก) ซึ่งประเมินประสิทธิภาพสูงเกินไปหรือต่ำเกินไป
- การนำการเรียนรู้แบบออนไลน์ไปใช้กับชุดข้อมูลขนาดเล็กและคงที่ ซึ่งวิธีการแบบแบตช์ที่ง่ายกว่าพร้อมการตรวจสอบข้ามที่เหมาะสมจะเหมาะสมกว่า
คำถามที่พบบ่อย
การเรียนรู้แบบออนไลน์เหมือนกับการไล่ระดับความชันแบบสุ่ม (stochastic gradient descent) หรือไม่
SGD เป็นอัลกอริทึมการปรับให้เหมาะสมที่ใช้บ่อยที่สุดในการเรียนรู้แบบออนไลน์ แต่ไม่เหมือนกัน การเรียนรู้แบบออนไลน์เป็นกระบวนทัศน์ (ประมวลผลตัวอย่างหนึ่งรายการ อัปเดต แล้วดำเนินการต่อ); SGD เป็นกฎการอัปเดต การเรียนรู้แบบออนไลน์อาจใช้กฎการอัปเดตอื่นๆ เช่น Perceptron, AdaGrad หรือ FTRL
ฉันจะประเมินแบบจำลองที่ฝึกด้วยการเรียนรู้แบบออนไลน์ได้อย่างไร
ใช้การประเมินแบบ prequential (เรียกอีกอย่างว่า test-then-train): สำหรับแต่ละตัวอย่างที่เข้ามา ให้ทำนายก่อน บันทึกข้อผิดพลาด จากนั้นอัปเดต ค่าเฉลี่ยเคลื่อนที่ของข้อผิดพลาดจะให้ค่าประมาณที่ไม่ลำเอียงของประสิทธิภาพแบบเรียลไทม์โดยไม่จำเป็นต้องมีชุดข้อมูลแยกต่างหาก
การเรียนรู้แบบออนไลน์จัดการกับการคลาดเคลื่อนของแนวคิด (concept drift) อย่างไร
เนื่องจากพารามิเตอร์ได้รับการอัปเดตหลังจากแต่ละตัวอย่าง แบบจำลองจึงติดตามการเปลี่ยนแปลงการกระจายตัวอย่างช้าๆ ได้อย่างเป็นธรรมชาติ สำหรับการคลาดเคลื่อนอย่างกะทันหัน ซึ่งตรวจพบอย่างชัดเจนโดยการตรวจสอบอัตราข้อผิดพลาดหรือการทดสอบทางสถิติ (เช่น DDM, ADWIN) อาจจำเป็นต้องใช้อัตราการเรียนรู้ที่สูงขึ้นหรือการรีเซ็ตแบบจำลอง
ความเสียใจ (regret) คืออะไรและทำไมจึงสำคัญ
ความเสียใจคือความสูญเสียเพิ่มเติมสะสมที่เกิดจากอัลกอริทึมออนไลน์เมื่อเทียบกับตัวทำนายแบบคงที่ที่ดีที่สุดที่เลือกโดยมีความรู้ทั้งหมดเมื่อมองย้อนหลัง ความเสียใจแบบต่ำกว่าเชิงเส้น (เติบโตช้ากว่า T) รับประกันว่าความสูญเสียเฉลี่ยต่อรอบจะลู่เข้าสู่ค่าที่เหมาะสมที่สุด ซึ่งให้ใบรับรองประสิทธิภาพกรณีที่เลวร้ายที่สุดที่เข้มงวด
โครงข่ายประสาทเทียมเชิงลึกสามารถฝึกในลักษณะออนไลน์ได้หรือไม่
ได้ แต่มีข้อควรระวัง โดยทั่วไป DNNs ต้องการหลายยุคสมัย (epochs) บนข้อมูลเพื่อให้เกิดการลู่เข้าที่เสถียร ซึ่งขัดแย้งกับข้อจำกัดออนไลน์แบบผ่านเดียวที่เข้มงวด ในทางปฏิบัติ mini-batch streaming SGD ถูกใช้เป็นการประนีประนอม — ประมวลผลแบตช์ล่าสุดของตัวอย่างไม่กี่รายการก่อนที่จะอัปเดตน้ำหนัก
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Shalev-Shwartz, S. (2011). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วCesa-Bianchi, N. & Lugosi, G. (2006). Prediction, Learning, and Games. Cambridge University Press.
ISBN: 978-0-521-84108-5คัดลอกแล้ว