Skip to content
กลับไปยังผลการค้นหา

การถดถอยโลจิสติกแบบออนไลน์

ผู้เสนอ
Rosenblatt, F. / Widrow, B. (perceptron era); modern SGD form: Bottou, L.
ปี
1960s (perceptron); formalized for logistic loss ~2000s
ประเภท
Incremental supervised classifier
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การถดถอยโลจิสติกแบบออนไลน์ (Online Logistic Regression) ทำการปรับแบบจำลองโลจิสติกทีละตัวอย่าง (หรือกลุ่มตัวอย่างย่อย) โดยใช้วิธีการปรับความชันแบบสุ่ม (stochastic gradient descent) ซึ่งจะปรับปรุงน้ำหนักของแบบจำลองเมื่อข้อมูลแต่ละรายการมาถึง แทนที่จะรอให้เห็นข้อมูลทั้งหมด ทำให้เป็นตัวเลือกมาตรฐานสำหรับปัญหาการจำแนกประเภทแบบสองกลุ่ม (binary classification) ที่มีปริมาณข้อมูลสูง ข้อมูลแบบสตรีม หรือข้อจำกัดด้านหน่วยความจำ ซึ่งการฝึกแบบกลุ่ม (batch training) ไม่สามารถทำได้

แนวคิดเบื้องหลังวิธีการ

การถดถอยโลจิสติกแบบดั้งเดิมต้องการโหลดข้อมูลทั้งหมดเข้าสู่หน่วยความจำและทำการปรับให้เหมาะสมกับชุดข้อมูลทั้งหมด ในทางกลับกัน การถดถอยโลจิสติกแบบออนไลน์จะอ่านข้อมูลแต่ละรายการที่เข้ามา ทำการคาดการณ์ความน่าจะเป็น คำนวณความผิดพลาดของการคาดการณ์ และทำการปรับค่าน้ำหนักเล็กน้อยตามความชันก่อนที่จะไปยังรายการถัดไป เมื่อผ่านข้อมูลจำนวนมาก น้ำหนักจะลู่เข้าสู่ค่าที่ใกล้เคียงกับที่ได้จากตัวแก้แบบกลุ่ม (batch solver) แต่แบบจำลองสามารถปรับปรุงได้อย่างต่อเนื่องโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด อัตราการเรียนรู้ที่ลดลงจะช่วยให้การปรับปรุงมีความละเอียดมากขึ้นเมื่อแบบจำลองมีความสมบูรณ์มากขึ้น โดยแลกเปลี่ยนความเร็วในการปรับตัวกับความเสถียร

ประวัติศาสตร์

รากฐานของการเรียนรู้แบบออนไลน์โดยใช้ความชันย้อนกลับไปถึง Perceptron ของ Rosenblatt (1958) และกฎ LMS ของ Widrow และ Hoff (1960) รูปแบบโลจิสติกสูญเสียได้รับความนิยมในวรรณกรรมเกี่ยวกับการเรียนรู้ขนาดใหญ่ในช่วงปี 2000 โดยเฉพาะอย่างยิ่งผ่านงานของ Bottou เกี่ยวกับ stochastic gradient descent สำหรับการเรียนรู้ของเครื่อง และกรอบงานทางทฤษฎีของ Shalev-Shwartz สำหรับการปรับให้เหมาะสมแบบออนไลน์ของฟังก์ชันนูน มันกลายเป็นมาตรฐานการผลิตในการคาดการณ์อัตราการคลิกผ่าน (click-through-rate) ในระดับเว็บและการกรองสแปม ซึ่งชุดข้อมูลมีการสตรีมอย่างต่อเนื่องและแบบจำลองต้องได้รับการอัปเดตแบบเรียลไทม์

ควรใช้เมื่อใด

ใช้การถดถอยโลจิสติกแบบออนไลน์เมื่อข้อมูลมาถึงเป็นสตรีม หรือเมื่อชุดข้อมูลทั้งหมดมีขนาดใหญ่เกินกว่าจะเก็บไว้ในหน่วยความจำได้ เมื่อคาดว่าขอบเขตการตัดสินใจ (decision boundary) จะเปลี่ยนแปลงไปทีละน้อยตามเวลา (concept drift) หรือเมื่อต้องการการปรับปรุงแบบจำลองที่มีความหน่วงเวลาต่ำ นอกจากนี้ยังเป็นค่าพื้นฐานที่รวดเร็วสำหรับชุดข้อมูลแบบคงที่ขนาดใหญ่มากที่สามารถยอมรับการฝึกแบบ SGD เพียงครั้งเดียว หลีกเลี่ยงการใช้งานเมื่อชุดข้อมูลมีขนาดเล็กพอที่จะฝึกแบบกลุ่มได้ (การถดถอยโลจิสติกแบบกลุ่มจะลู่เข้าสู่ผลลัพธ์ที่ดีกว่าโดยมีการปรับแต่งน้อยกว่า) เมื่อขอบเขตการตัดสินใจมีความไม่เป็นเชิงเส้นสูง (linear) (วิธีการแบบต้นไม้หรือแบบเคอร์เนลจะเหมาะสมกว่า) หรือเมื่อต้องการการตีความค่าความคลาดเคลื่อนมาตรฐาน (standard errors) และค่า p (p-values) ของสัมประสิทธิ์ที่แน่นอนสำหรับการรายงาน

ข้อจำกัดและข้อควรพิจารณา

  • ไวต่อการเลือกอัตราการเรียนรู้: หากสูงเกินไปจะทำให้เกิดการลู่ออก (divergence) หากต่ำเกินไปจะทำให้การลู่เข้าช้าหรือเกิดการเรียนรู้ต่ำกว่า (underfitting)
  • ไม่สามารถให้ช่วงความเชื่อมั่น (confidence intervals) หรือค่า p (p-values) สำหรับสัมประสิทธิ์ในรูปแบบปิด (closed-form) ได้
  • ลู่เข้าสู่ผลลัพธ์ที่มีสัญญาณรบกวนมากกว่าการถดถอยแบบกลุ่ม (batch gradient descent) เมื่อใช้ข้อมูลเดียวกัน การผ่านหลายครั้งหรือการหาค่าเฉลี่ย (Polyak-Ruppert) จำเป็นต้องใช้เพื่อลดช่องว่าง
  • ประสิทธิภาพลดลงเมื่อคุณลักษณะมีสเกลแตกต่างกันมาก เว้นแต่จะใช้การปรับมาตรฐาน (standardization) หรือ AdaGrad
  • สมมติฐานว่าขอบเขตการตัดสินใจเป็นเชิงเส้น ไม่สามารถจับโครงสร้างที่ไม่เป็นเชิงเส้นได้หากไม่มีการสร้างคุณลักษณะเพิ่มเติม (feature engineering)

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ใช้หน่วยความจำคงที่: ประมวลผลทีละตัวอย่างโดยไม่ต้องจัดเก็บชุดข้อมูลทั้งหมด
  • ปรับตัวเข้ากับการเปลี่ยนแปลงแนวคิด (concept drift) โดยการปรับปรุงน้ำหนักอย่างต่อเนื่องเมื่อข้อมูลที่มีป้ายกำกับใหม่มาถึง
  • ปรับขนาดได้ถึงพันล้านตัวอย่าง ซึ่งการปรับให้เหมาะสมแบบกลุ่มจะเป็นไปไม่ได้
  • ให้ผลลัพธ์ความน่าจะเป็นที่สอบเทียบได้ (calibrated probability outputs) ผ่านฟังก์ชันลิงก์ซิกมอยด์ เหมาะสำหรับการให้คะแนนความเสี่ยง
  • เข้ากันได้กับ L1 และ L2 regularization และตารางอัตราการเรียนรู้ที่เลียนแบบโซลูชันแบบกลุ่มเต็มรูปแบบ

การประยุกต์ใช้

  • การคาดการณ์อัตราการคลิกผ่านในการโฆษณาออนไลน์ด้วยสตรีมข้อมูลอย่างต่อเนื่อง
  • การตรวจจับสแปมและการฉ้อโกง ซึ่งรูปแบบมีการเปลี่ยนแปลงและแบบจำลองต้องปรับตัวทุกวัน
  • การจำแนกความรู้สึกแบบเรียลไทม์ของโพสต์บนโซเชียลมีเดียเมื่อมาถึง
  • การให้คะแนนความเสี่ยงแบบสองกลุ่มขนาดใหญ่เมื่อชุดข้อมูลทั้งหมดไม่สามารถใส่ในหน่วยความจำได้
  • สถานการณ์การเปลี่ยนแปลงแนวคิดในการตรวจสอบธุรกรรมทางการเงิน
  • ตัวจำแนกแบบสตรีมพื้นฐานก่อนการประเมินกลุ่มแบบออนไลน์ที่ซับซ้อนกว่า

วิธีการทำงาน

วิธีการทำงาน

1

เวกเตอร์น้ำหนักและค่าไบแอสจะถูกกำหนดค่าเริ่มต้นเป็นศูนย์ (หรือค่าสุ่มเล็กน้อย) ไม่จำเป็นต้องผ่านข้อมูลในขั้นตอนนี้ แบบจำลองพร้อมที่จะประมวลผลข้อมูลรายการแรกทันที

สูตร
\mathbf{w}_0 = \mathbf{0},\; b_0 = 0
2

สำหรับข้อมูลแต่ละรายการที่เข้ามา แบบจำลองจะคำนวณผลรวมเชิงเส้นของน้ำหนักและคุณลักษณะปัจจุบัน จากนั้นจึงส่งผ่านฟังก์ชันซิกมอยด์ (sigmoid function) เพื่อให้ได้ความน่าจะเป็นที่ป้ายกำกับคือ 1 ความน่าจะเป็นนี้ใช้ทั้งในการคาดการณ์และเป็นส่วนประกอบในการคำนวณความชัน

สูตร
\hat{p}_t = \sigma(\mathbf{w}_t^\top \mathbf{x}_t + b_t),\quad \sigma(z)=\frac{1}{1+e^{-z}}
3

เอนโทรปีไขว้แบบสองกลุ่ม (binary cross-entropy หรือ log-loss) ระหว่างความน่าจะเป็นที่คาดการณ์และป้ายกำกับจริง จะวัดว่าการคาดการณ์ปัจจุบันผิดพลาดเพียงใด เอนโทรปีไขว้เป็นฟังก์ชันนูน (convex) ในแง่ของน้ำหนัก ซึ่งรับประกันว่าการปรับปรุงตามความชันจะลดข้อผิดพลาดได้อย่างน่าเชื่อถือโดยเฉลี่ยตลอดสตรีมข้อมูล

สูตร
\ell_t = -[y_t \log \hat{p}_t + (1-y_t)\log(1-\hat{p}_t)]
4

ความชันของฟังก์ชันสูญเสีย (loss) เทียบกับน้ำหนักจะลดรูปเหลือเพียงส่วนที่เหลืออย่างง่าย (ความน่าจะเป็นที่คาดการณ์ลบด้วยป้ายกำกับจริง) คูณด้วยเวกเตอร์คุณลักษณะ เทอมการทำให้เป็นปกติ (regularization term) (L2 หรือ L1) จะถูกเพิ่มเข้าไปเพื่อลงโทษน้ำหนักที่มีค่ามากและป้องกันการเรียนรู้เกิน (overfitting) น้ำหนักจะถูกปรับปรุงโดยการลบค่าความชันที่ปรับสเกลออกไปในแต่ละรายการ

สูตร
\mathbf{w}_{t+1} = \mathbf{w}_t - \eta_t (\hat{p}_t - y_t)\mathbf{x}_t - \eta_t \lambda \mathbf{w}_t
5

อัตราการเรียนรู้จะค่อยๆ ลดลงเมื่อเวลาผ่านไป โดยเริ่มต้นด้วยค่าสูงเพื่อเคลื่อนที่อย่างรวดเร็วในระยะแรก และลดลงเพื่อให้การปรับปรุงในภายหลังมีความละเอียดโดยไม่เกิดการแกว่งไปมา รูปแบบที่นิยมใช้คือการลดลงแบบผกผันกับเวลา (inverse-time decay) หรือการปรับแบบ AdaGrad ตามคุณลักษณะแต่ละรายการ ซึ่งจัดการกับคุณลักษณะที่มีสเกลแตกต่างกันโดยอัตโนมัติ

สูตร
\eta_t = \eta_0 / (1 + \alpha t)

ข้อผิดพลาดที่พบบ่อย

  • การลืมปรับมาตรฐานคุณลักษณะ: SGD แบบออนไลน์ไวต่อความแตกต่างของสเกลเป็นพิเศษ เนื่องจากใช้อัตราการเรียนรู้เดียวกันกับทุกมิติ
  • การใช้อัตราการเรียนรู้คงที่ตลอดการฝึก: น้ำหนักจะแกว่งไปมาใกล้ค่าที่เหมาะสมที่สุดและไม่เคยคงที่
  • การละเลยความไม่สมดุลของคลาสในสตรีมข้อมูล: คลาสที่มีจำนวนน้อยจะได้รับการส่งสัญญาณความชันน้อย และแบบจำลองจะเอนเอียงไปทางคลาสส่วนใหญ่
  • การปฏิบัติต่อค่าประมาณน้ำหนักในช่วงต้นว่าเป็นค่าสุดท้าย: แบบจำลองต้องการตัวอย่างเพียงพอ ก่อนที่น้ำหนักจะคงที่ อย่าประเมินผลเร็วเกินไป
  • การสับสนความสามารถในการอัปเดตแบบออนไลน์กับการตรวจจับการเปลี่ยนแปลงแนวคิดอัตโนมัติ: น้ำหนักจะเปลี่ยนแปลงไปตามข้อมูล แต่ยังคงจำเป็นต้องมีการตรวจสอบการเปลี่ยนแปลงอย่างชัดเจน (เช่น ADWIN) เพื่อตรวจจับการเปลี่ยนแปลงที่ฉับพลัน

คำถามที่พบบ่อย

การถดถอยโลจิสติกแบบออนไลน์แตกต่างจากการถดถอยโลจิสติกมาตรฐานอย่างไร?

การถดถอยโลจิสติกมาตรฐานใช้ข้อมูลทั้งหมดในครั้งเดียว (การปรับให้เหมาะสมแบบกลุ่ม) และให้ค่าสัมประสิทธิ์สูงสุดที่เป็นไปได้ (maximum-likelihood coefficients) พร้อมค่าความคลาดเคลื่อนมาตรฐาน การถดถอยโลจิสติกแบบออนไลน์ปรับปรุงน้ำหนักหลังจากแต่ละตัวอย่าง โดยใช้หน่วยความจำคงที่เท่านั้นและทนต่อสตรีมที่ยาวนานอนันต์ แต่ค่าประมาณของมันมีสัญญาณรบกวนมากกว่าและไม่ให้สถิติเชิงอนุมาน

ฉันจะเลือกอัตราการเรียนรู้ได้อย่างไร?

จุดเริ่มต้นทั่วไปคืออัตราคงที่ขนาดเล็ก (เช่น 0.01) ร่วมกับการลดลงแบบผกผันกับเวลา หรือใช้ AdaGrad ซึ่งปรับอัตราต่อคุณลักษณะโดยอัตโนมัติ ควรปรับมาตรฐานคุณลักษณะก่อนเสมอ จากนั้นจึงปรับอัตราเริ่มต้นบนส่วนข้อมูลที่แยกไว้สำหรับการตรวจสอบ (validation fold) หรือโดยการตรวจสอบ log-loss ที่กำลังทำงานบนหน้าต่างล่าสุดของสตรีม

การถดถอยโลจิสติกแบบออนไลน์สามารถจัดการกับปัญหาหลายคลาสได้หรือไม่?

ได้ โดยขยายไปสู่ตัวจำแนกแบบหนึ่งเทียบกับส่วนที่เหลือ (one-vs-rest) ที่ฝึกแบบขนาน หรือใช้รูปแบบทั่วไปของซอฟต์แม็กซ์ (softmax/multinomial) กับฟังก์ชันสูญเสียเอนโทรปีไขว้แบบหมวดหมู่ (categorical cross-entropy loss) และเวกเตอร์น้ำหนักต่อคลาส โดยใช้กฎการอัปเดต SGD แบบเดียวกันกับแต่ละคลาส

ฉันควรใช้ regularization แบบใด?

L2 (ridge) regularization เป็นค่าเริ่มต้น: มันจะลดน้ำหนักทั้งหมดอย่างราบรื่นและทำงานได้ดีกับ SGD L1 (lasso) สร้างน้ำหนักที่เบาบาง (sparse) และมีประโยชน์เมื่อคุณต้องการการเลือกคุณลักษณะอัตโนมัติในพื้นที่ที่มีมิติสูงมาก แต่ต้องมีการตัดทอนอย่างระมัดระวังหรือการอัปเดตแบบ FOBOS เพื่อให้ยังคงความเบาบางอย่างแม่นยำแบบออนไลน์

ฉันจะประเมินแบบจำลองที่ได้รับการอัปเดตอย่างต่อเนื่องได้อย่างไร?

ใช้การประเมินแบบ prequential (ทดสอบแล้วฝึก): ทำนายแต่ละตัวอย่างก่อนที่จะใช้สำหรับการปรับปรุงน้ำหนัก จากนั้นจึงรายงาน log-loss ที่กำลังทำงาน หรือ AUC บนหน้าต่างที่เลื่อนได้ สิ่งนี้ให้ค่าประมาณที่ไม่เอนเอียงของคุณภาพแบบจำลองปัจจุบันโดยไม่มีชุดข้อมูลที่แยกไว้สำหรับการตรวจสอบแบบคงที่

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Bottou, L. (2010). Large-Scale Machine Learning with Stochastic Gradient Descent. In Proceedings of COMPSTAT 2010, 177–186. Physica-Verlag.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Shalev-Shwartz, S. (2012). Online Learning and Online Convex Optimization. Foundations and Trends in Machine Learning, 4(2), 107–194.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว