การถดถอยโลจิสติกแบบออนไลน์
- ผู้เสนอ
- Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
- ปี
- 1960s (perceptron); formalized for logistic loss ~2000s
- ประเภท
- Incremental supervised classifier
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยโลจิสติกแบบออนไลน์ (Online Logistic Regression) ทำการปรับแบบจำลองโลจิสติกทีละตัวอย่าง (หรือกลุ่มตัวอย่างย่อย) โดยใช้วิธีการปรับความชันแบบสุ่ม (stochastic gradient descent) ซึ่งจะปรับปรุงน้ำหนักของแบบจำลองเมื่อข้อมูลแต่ละรายการมาถึง แทนที่จะรอให้เห็นข้อมูลทั้งหมด ทำให้เป็นตัวเลือกมาตรฐานสำหรับปัญหาการจำแนกประเภทแบบสองกลุ่ม (binary classification) ที่มีปริมาณข้อมูลสูง ข้อมูลแบบสตรีม หรือข้อจำกัดด้านหน่วยความจำ ซึ่งการฝึกแบบกลุ่ม (batch training) ไม่สามารถทำได้
แนวคิดเบื้องหลังวิธีการ
การถดถอยโลจิสติกแบบดั้งเดิมต้องการโหลดข้อมูลทั้งหมดเข้าสู่หน่วยความจำและทำการปรับให้เหมาะสมกับชุดข้อมูลทั้งหมด ในทางกลับกัน การถดถอยโลจิสติกแบบออนไลน์จะอ่านข้อมูลแต่ละรายการที่เข้ามา ทำการคาดการณ์ความน่าจะเป็น คำนวณความผิดพลาดของการคาดการณ์ และทำการปรับค่าน้ำหนักเล็กน้อยตามความชันก่อนที่จะไปยังรายการถัดไป เมื่อผ่านข้อมูลจำนวนมาก น้ำหนักจะลู่เข้าสู่ค่าที่ใกล้เคียงกับที่ได้จากตัวแก้แบบกลุ่ม (batch solver) แต่แบบจำลองสามารถปรับปรุงได้อย่างต่อเนื่องโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด อัตราการเรียนรู้ที่ลดลงจะช่วยให้การปรับปรุงมีความละเอียดมากขึ้นเมื่อแบบจำลองมีความสมบูรณ์มากขึ้น โดยแลกเปลี่ยนความเร็วในการปรับตัวกับความเสถียร
ประวัติศาสตร์
รากฐานของการเรียนรู้แบบออนไลน์โดยใช้ความชันย้อนกลับไปถึง Perceptron ของ Rosenblatt (1958) และกฎ LMS ของ Widrow และ Hoff (1960) รูปแบบโลจิสติกสูญเสียได้รับความนิยมในวรรณกรรมเกี่ยวกับการเรียนรู้ขนาดใหญ่ในช่วงปี 2000 โดยเฉพาะอย่างยิ่งผ่านงานของ Bottou เกี่ยวกับ stochastic gradient descent สำหรับการเรียนรู้ของเครื่อง และกรอบงานทางทฤษฎีของ Shalev-Shwartz สำหรับการปรับให้เหมาะสมแบบออนไลน์ของฟังก์ชันนูน มันกลายเป็นมาตรฐานการผลิตในการคาดการณ์อัตราการคลิกผ่าน (click-through-rate) ในระดับเว็บและการกรองสแปม ซึ่งชุดข้อมูลมีการสตรีมอย่างต่อเนื่องและแบบจำลองต้องได้รับการอัปเดตแบบเรียลไทม์
ควรใช้เมื่อใด
ใช้การถดถอยโลจิสติกแบบออนไลน์เมื่อข้อมูลมาถึงเป็นสตรีม หรือเมื่อชุดข้อมูลทั้งหมดมีขนาดใหญ่เกินกว่าจะเก็บไว้ในหน่วยความจำได้ เมื่อคาดว่าขอบเขตการตัดสินใจ (decision boundary) จะเปลี่ยนแปลงไปทีละน้อยตามเวลา (concept drift) หรือเมื่อต้องการการปรับปรุงแบบจำลองที่มีความหน่วงเวลาต่ำ นอกจากนี้ยังเป็นค่าพื้นฐานที่รวดเร็วสำหรับชุดข้อมูลแบบคงที่ขนาดใหญ่มากที่สามารถยอมรับการฝึกแบบ SGD เพียงครั้งเดียว หลีกเลี่ยงการใช้งานเมื่อชุดข้อมูลมีขนาดเล็กพอที่จะฝึกแบบกลุ่มได้ (การถดถอยโลจิสติกแบบกลุ่มจะลู่เข้าสู่ผลลัพธ์ที่ดีกว่าโดยมีการปรับแต่งน้อยกว่า) เมื่อขอบเขตการตัดสินใจมีความไม่เป็นเชิงเส้นสูง (linear) (วิธีการแบบต้นไม้หรือแบบเคอร์เนลจะเหมาะสมกว่า) หรือเมื่อต้องการการตีความค่าความคลาดเคลื่อนมาตรฐาน (standard errors) และค่า p (p-values) ของสัมประสิทธิ์ที่แน่นอนสำหรับการรายงาน
ข้อจำกัดและข้อควรพิจารณา
- ไวต่อการเลือกอัตราการเรียนรู้: หากสูงเกินไปจะทำให้เกิดการลู่ออก (divergence) หากต่ำเกินไปจะทำให้การลู่เข้าช้าหรือเกิดการเรียนรู้ต่ำกว่า (underfitting)
- ไม่สามารถให้ช่วงความเชื่อมั่น (confidence intervals) หรือค่า p (p-values) สำหรับสัมประสิทธิ์ในรูปแบบปิด (closed-form) ได้
- ลู่เข้าสู่ผลลัพธ์ที่มีสัญญาณรบกวนมากกว่าการถดถอยแบบกลุ่ม (batch gradient descent) เมื่อใช้ข้อมูลเดียวกัน การผ่านหลายครั้งหรือการหาค่าเฉลี่ย (Polyak-Ruppert) จำเป็นต้องใช้เพื่อลดช่องว่าง
- ประสิทธิภาพลดลงเมื่อคุณลักษณะมีสเกลแตกต่างกันมาก เว้นแต่จะใช้การปรับมาตรฐาน (standardization) หรือ AdaGrad
- สมมติฐานว่าขอบเขตการตัดสินใจเป็นเชิงเส้น ไม่สามารถจับโครงสร้างที่ไม่เป็นเชิงเส้นได้หากไม่มีการสร้างคุณลักษณะเพิ่มเติม (feature engineering)
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้หน่วยความจำคงที่: ประมวลผลทีละตัวอย่างโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด
- ปรับตัวเข้ากับการเปลี่ยนแปลงแนวคิด (concept drift) โดยการปรับปรุงน้ำหนักอย่างต่อเนื่องเมื่อข้อมูลที่มีป้ายกำกับใหม่มาถึง
- ปรับขนาดได้ถึงพันล้านตัวอย่าง ซึ่งการปรับให้เหมาะสมแบบกลุ่มจะเป็นไปไม่ได้
- ให้ผลลัพธ์ความน่าจะเป็นที่สอบเทียบได้ (calibrated probability outputs) ผ่านฟังก์ชันลิงก์ซิกมอยด์ เหมาะสำหรับการให้คะแนนความเสี่ยง
- เข้ากันได้กับ L1 และ L2 regularization และตารางอัตราการเรียนรู้ที่เลียนแบบโซลูชันแบบกลุ่มเต็มรูปแบบ
การประยุกต์ใช้
- การคาดการณ์อัตราการคลิกผ่านในการโฆษณาออนไลน์ด้วยสตรีมข้อมูลอย่างต่อเนื่อง
- การตรวจจับสแปมและการฉ้อโกง ซึ่งรูปแบบมีการเปลี่ยนแปลงและแบบจำลองต้องปรับตัวทุกวัน
- การจำแนกความรู้สึกแบบเรียลไทม์ของโพสต์บนโซเชียลมีเดียเมื่อมาถึง
- การให้คะแนนความเสี่ยงแบบสองกลุ่มขนาดใหญ่เมื่อชุดข้อมูลทั้งหมดไม่สามารถใส่ในหน่วยความจำได้
- สถานการณ์การเปลี่ยนแปลงแนวคิดในการตรวจสอบธุรกรรมทางการเงิน
- ตัวจำแนกแบบสตรีมพื้นฐานก่อนการประเมินกลุ่มแบบออนไลน์ที่ซับซ้อนกว่า
วิธีการทำงาน
วิธีการทำงาน
เวกเตอร์น้ำหนักและค่าไบแอสจะถูกกำหนดค่าเริ่มต้นเป็นศูนย์ (หรือค่าสุ่มเล็กน้อย) ไม่จำเป็นต้องผ่านข้อมูลในขั้นตอนนี้ แบบจำลองพร้อมที่จะประมวลผลข้อมูลรายการแรกทันที
สูตร
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0สำหรับข้อมูลแต่ละรายการที่เข้ามา แบบจำลองจะคำนวณผลรวมเชิงเส้นของน้ำหนักและคุณลักษณะปัจจุบัน จากนั้นจึงส่งผ่านฟังก์ชันซิกมอยด์ (sigmoid function) เพื่อให้ได้ความน่าจะเป็นที่ป้ายกำกับคือ 1 ความน่าจะเป็นนี้ใช้ทั้งในการคาดการณ์และเป็นส่วนประกอบในการคำนวณความชัน
สูตร
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}เอนโทรปีไขว้แบบสองกลุ่ม (binary cross-entropy หรือ log-loss) ระหว่างความน่าจะเป็นที่คาดการณ์และป้ายกำกับจริง จะวัดว่าการคาดการณ์ปัจจุบันผิดพลาดเพียงใด เอนโทรปีไขว้เป็นฟังก์ชันนูน (convex) ในแง่ของน้ำหนัก ซึ่งรับประกันว่าการปรับปรุงตามความชันจะลดข้อผิดพลาดได้อย่างน่าเชื่อถือโดยเฉลี่ยตลอดสตรีมข้อมูล
สูตร
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]ความชันของฟังก์ชันสูญเสีย (loss) เทียบกับน้ำหนักจะลดรูปเหลือเพียงส่วนที่เหลืออย่างง่าย (ความน่าจะเป็นที่คาดการณ์ลบด้วยป้ายกำกับจริง) คูณด้วยเวกเตอร์คุณลักษณะ เทอมการทำให้เป็นปกติ (regularization term) (L2 หรือ L1) จะถูกเพิ่มเข้าไปเพื่อลงโทษน้ำหนักที่มีค่ามากและป้องกันการเรียนรู้เกิน (overfitting) น้ำหนักจะถูกปรับปรุงโดยการลบค่าความชันที่ปรับสเกลออกไปในแต่ละรายการ
สูตร
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_tอัตราการเรียนรู้จะค่อยๆ ลดลงเมื่อเวลาผ่านไป โดยเริ่มต้นด้วยค่าสูงเพื่อเคลื่อนที่อย่างรวดเร็วในระยะแรก และลดลงเพื่อให้การปรับปรุงในภายหลังมีความละเอียดโดยไม่เกิดการแกว่งไปมา รูปแบบที่นิยมใช้คือการลดลงแบบผกผันกับเวลา (inverse-time decay) หรือการปรับแบบ AdaGrad ตามคุณลักษณะแต่ละรายการ ซึ่งจัดการกับคุณลักษณะที่มีสเกลแตกต่างกันโดยอัตโนมัติ
สูตร
\eta_t = \eta_0 / (1 + \alpha t)
ข้อผิดพลาดที่พบบ่อย
- การลืมปรับมาตรฐานคุณลักษณะ: SGD แบบออนไลน์ไวต่อความแตกต่างของสเกลเป็นพิเศษ เนื่องจากใช้อัตราการเรียนรู้เดียวกันกับทุกมิติ
- การใช้อัตราการเรียนรู้คงที่ตลอดการฝึก: น้ำหนักจะแกว่งไปมาใกล้ค่าที่เหมาะสมที่สุดและไม่เคยคงที่
- การละเลยความไม่สมดุลของคลาสในสตรีมข้อมูล: คลาสที่มีจำนวนน้อยจะได้รับการส่งสัญญาณความชันน้อย และแบบจำลองจะเอนเอียงไปทางคลาสส่วนใหญ่
- การปฏิบัติต่อค่าประมาณน้ำหนักในช่วงต้นว่าเป็นค่าสุดท้าย: แบบจำลองต้องการตัวอย่างเพียงพอ ก่อนที่น้ำหนักจะคงที่ อย่าประเมินผลเร็วเกินไป
- การสับสนความสามารถในการอัปเดตแบบออนไลน์กับการตรวจจับการเปลี่ยนแปลงแนวคิดอัตโนมัติ: น้ำหนักจะเปลี่ยนแปลงไปตามข้อมูล แต่ยังคงจำเป็นต้องมีการตรวจสอบการเปลี่ยนแปลงอย่างชัดเจน (เช่น ADWIN) เพื่อตรวจจับการเปลี่ยนแปลงที่ฉับพลัน
คำถามที่พบบ่อย
การถดถอยโลจิสติกแบบออนไลน์แตกต่างจากการถดถอยโลจิสติกมาตรฐานอย่างไร?
การถดถอยโลจิสติกมาตรฐานใช้ข้อมูลทั้งหมดในครั้งเดียว (การปรับให้เหมาะสมแบบกลุ่ม) และให้ค่าสัมประสิทธิ์สูงสุดที่เป็นไปได้ (maximum-likelihood coefficients) พร้อมค่าความคลาดเคลื่อนมาตรฐาน การถดถอยโลจิสติกแบบออนไลน์ปรับปรุงน้ำหนักหลังจากแต่ละตัวอย่าง โดยใช้หน่วยความจำคงที่เท่านั้นและทนต่อสตรีมที่ยาวนานอนันต์ แต่ค่าประมาณของมันมีสัญญาณรบกวนมากกว่าและไม่ให้สถิติเชิงอนุมาน
ฉันจะเลือกอัตราการเรียนรู้ได้อย่างไร?
จุดเริ่มต้นทั่วไปคืออัตราคงที่ขนาดเล็ก (เช่น 0.01) ร่วมกับการลดลงแบบผกผันกับเวลา หรือใช้ AdaGrad ซึ่งปรับอัตราต่อคุณลักษณะโดยอัตโนมัติ ควรปรับมาตรฐานคุณลักษณะก่อนเสมอ จากนั้นจึงปรับอัตราเริ่มต้นบนส่วนข้อมูลที่แยกไว้สำหรับการตรวจสอบ (validation fold) หรือโดยการตรวจสอบ log-loss ที่กำลังทำงานบนหน้าต่างล่าสุดของสตรีม
การถดถอยโลจิสติกแบบออนไลน์สามารถจัดการกับปัญหาหลายคลาสได้หรือไม่?
ได้ โดยขยายไปสู่ตัวจำแนกแบบหนึ่งเทียบกับส่วนที่เหลือ (one-vs-rest) ที่ฝึกแบบขนาน หรือใช้รูปแบบทั่วไปของซอฟต์แม็กซ์ (softmax/multinomial) กับฟังก์ชันสูญเสียเอนโทรปีไขว้แบบหมวดหมู่ (categorical cross-entropy loss) และเวกเตอร์น้ำหนักต่อคลาส โดยใช้กฎการอัปเดต SGD แบบเดียวกันกับแต่ละคลาส
ฉันควรใช้ regularization แบบใด?
L2 (ridge) regularization เป็นค่าเริ่มต้น: มันจะลดน้ำหนักทั้งหมดอย่างราบรื่นและทำงานได้ดีกับ SGD L1 (lasso) สร้างน้ำหนักที่เบาบาง (sparse) และมีประโยชน์เมื่อคุณต้องการการเลือกคุณลักษณะอัตโนมัติในพื้นที่ที่มีมิติสูงมาก แต่ต้องมีการตัดทอนอย่างระมัดระวังหรือการอัปเดตแบบ FOBOS เพื่อให้ยังคงความเบาบางอย่างแม่นยำแบบออนไลน์
ฉันจะประเมินแบบจำลองที่ได้รับการอัปเดตอย่างต่อเนื่องได้อย่างไร?
ใช้การประเมินแบบ prequential (ทดสอบแล้วฝึก): ทำนายแต่ละตัวอย่างก่อนที่จะใช้สำหรับการปรับปรุงน้ำหนัก จากนั้นจึงรายงาน log-loss ที่กำลังทำงาน หรือ AUC บนหน้าต่างที่เลื่อนได้ สิ่งนี้ให้ค่าประมาณที่ไม่เอนเอียงของคุณภาพแบบจำลองปัจจุบันโดยไม่มีชุดข้อมูลที่แยกไว้สำหรับการตรวจสอบแบบคงที่
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วShalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว