การถดถอยโลจิสติกแบบกำกับตนเอง
- ผู้เสนอ
- Chen et al. (SimCLR linear evaluation protocol, 2020); logistic probe practice widely adopted across SSL literature
- ปี
- 2020s
- ประเภท
- Self-supervised pretraining + supervised linear classification
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การถดถอยโลจิสติกแบบกำกับตนเอง (Self-supervised logistic regression) เป็นกระบวนการแบบสองขั้นตอน ซึ่งในขั้นแรกจะมีการฝึกตัวเข้ารหัสโครงข่ายประสาท (neural encoder) บนข้อมูลจำนวนมากที่ไม่มีป้ายกำกับ (unlabeled data) ผ่านงานตั้งต้นแบบกำกับตนเอง (self-supervised pretext task) เช่น การเรียนรู้แบบเปรียบต่าง (contrastive learning) หรือการทำนายแบบปิดบัง (masked prediction) จากนั้นจึงนำการแทนค่าที่เรียนรู้มาโดยไม่เปลี่ยนแปลง (frozen learned representations) ไปจำแนกประเภทด้วยแบบจำลองโลจิสติกมาตรฐานที่ฝึกบนชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก กระบวนการประเมินผลเชิงเส้น (linear evaluation protocol) นี้ถูกใช้อย่างแพร่หลายเพื่อวัดคุณภาพของการแทนค่าที่ได้จากการเรียนรู้แบบกำกับตนเอง
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพการสอนตัวเองให้จดจำรูปร่างโดยไม่มีใครบอกป้ายกำกับ เพียงแค่เปรียบเทียบภาพคู่หนึ่งและเรียนรู้ว่าอะไรทำให้ภาพเหล่านั้นเหมือนหรือแตกต่างกัน หลังจากฝึกฝนแบบไม่มีผู้สอน (unsupervised practice) นี้ การแทนค่าภายในของภาพจะมีความสมบูรณ์และมีโครงสร้าง เมื่อคุณเห็นตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง กฎเชิงเส้นอย่างง่าย — การถดถอยโลจิสติก — ที่นำไปใช้กับการแทนค่าที่เรียนรู้มามักจะเพียงพอที่จะจำแนกตัวอย่างใหม่ได้อย่างแม่นยำ คุณภาพของตัวจำแนกเชิงเส้น (linear classifier) จะบ่งบอกถึงประโยชน์ของการฝึกเบื้องต้นแบบกำกับตนเอง ซึ่งเป็นเหตุผลว่าทำไมการผสมผสานนี้จึงเป็นเกณฑ์มาตรฐานมาตรฐานในการตรวจสอบ (benchmark probe) ในชุมชน SSL
ประวัติศาสตร์
กระบวนการประเมินผลเชิงเส้น (linear evaluation protocol) — การฝึกการถดถอยโลจิสติกบนคุณลักษณะแบบกำกับตนเองที่ถูกตรึงไว้ — ได้กลายเป็นเกณฑ์มาตรฐานหลักในวรรณกรรมการเรียนรู้แบบกำกับตนเอง หลังจากความสำเร็จของวิธีการแบบเปรียบต่าง เช่น SimCLR (Chen et al., 2020) และ MoCo งานก่อนหน้านี้เกี่ยวกับเวกเตอร์คำ (word embeddings) (Word2Vec, GloVe) ใช้ตัวจำแนกเชิงเส้นดาวน์สตรีมที่คล้ายกันเพื่อตรวจสอบคุณภาพของการแทนค่า ปัจจุบันกระบวนการนี้เป็นมาตรฐานในการวิจัย SSL ด้านการมองเห็น, NLP และเสียง ในฐานะมาตรวัดที่มีน้ำหนักเบาและเปรียบเทียบได้ของประโยชน์ของแบบจำลองที่ฝึกเบื้องต้น
ควรใช้เมื่อใด
ใช้การถดถอยโลจิสติกแบบกำกับตนเองเมื่อข้อมูลที่มีป้ายกำกับมีจำกัด แต่ข้อมูลที่ไม่มีป้ายกำกับมีมากมาย — ซึ่งเป็นสถานการณ์ทั่วไปในการถ่ายภาพทางการแพทย์, NLP, หรือสาขาวิทยาศาสตร์ นอกจากนี้ยังเป็นกระบวนการมาตรฐานสำหรับการประเมินว่าตัวเข้ารหัสแบบกำกับตนเองได้เรียนรู้การแทนค่าที่สามารถถ่ายทอดได้ (transferable representations) หรือไม่ แนวทางนี้ได้ผลดีที่สุดเมื่อโดเมนการฝึกเบื้องต้นและโดเมนดาวน์สตรีมมีความเกี่ยวข้องกันอย่างใกล้ชิด หลีกเลี่ยงเมื่อข้อมูลที่มีป้ายกำกับมีมากมาย (การเรียนรู้แบบกำกับดูแลทั่วไปจะให้ผลดีกว่า) เมื่องานดาวน์สตรีมต้องการขอบเขตที่ไม่ใช่เชิงเส้นที่ละเอียด (การปรับแต่งตัวเข้ารหัสทั้งหมดจะดีกว่า) หรือเมื่อไม่มีทรัพยากรคอมพิวเตอร์เพียงพอสำหรับการฝึกเบื้องต้นตัวเข้ารหัสขนาดใหญ่
ข้อจำกัดและข้อควรพิจารณา
- ต้องการตัวเข้ารหัสโครงข่ายประสาทที่ทรงพลัง ซึ่งมักจะมีขนาดใหญ่ เพื่อสร้างการแทนค่าที่มีประโยชน์ ซึ่งต้องใช้การคำนวณและข้อมูลที่ไม่มีป้ายกำกับจำนวนมากสำหรับการฝึกเบื้องต้น
- ประสิทธิภาพขึ้นอยู่กับว่างานตั้งต้นสอดคล้องกับงานจำแนกประเภทดาวน์สตรีมได้ดีเพียงใด งานที่ไม่ตรงกันจะให้ผลลัพธ์การฝังตัวที่ไม่ดี
- การใช้โพรบเชิงเส้นที่ถูกตรึงไว้อาจมีประสิทธิภาพต่ำกว่าการปรับแต่งทั้งหมด (full fine-tuning) เมื่อขอบเขตการตัดสินใจไม่ใช่เชิงเส้นในปริภูมิคุณลักษณะที่ฝึกเบื้องต้น
- การตีความแบบ end-to-end มีจำกัด: ตัวเข้ารหัสแบบกำกับตนเองเป็นกล่องดำที่สร้างคุณลักษณะที่ป้อนให้กับการถดถอยโลจิสติก
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ใช้ประโยชน์จากข้อมูลที่ไม่มีป้ายกำกับ ลดความต้องการการใส่คำอธิบายประกอบโดยมนุษย์ที่มีค่าใช้จ่ายสูงลงอย่างมาก
- กระบวนการประเมินผลเชิงเส้น (linear evaluation protocol) ให้เกณฑ์มาตรฐานที่ตีความได้และทำซ้ำได้สำหรับคุณภาพของการแทนค่า
- การถดถอยโลจิสติกมีความรวดเร็ว เสถียร และให้ผลลัพธ์เชิงความน่าจะเป็นพร้อมการอนุมานที่เข้าใจได้ดี
- การแยกการฝึกเบื้องต้นออกจากการจำแนกประเภททำให้กระบวนการทำงานแบบแยกส่วน (modular): ตัวเข้ารหัสเดียวกันสามารถใช้สำหรับตัวจำแนกโลจิสติกดาวน์สตรีมได้หลายตัว
- ทำงานได้ดีในหลากหลายโดเมน — ภาพ, ข้อความ, เสียง — เมื่อใดก็ตามที่ตัวเข้ารหัสแบบกำกับตนเองสามารถฝึกเบื้องต้นได้
การประยุกต์ใช้
- การจำแนกประเภทภาพทางการแพทย์ด้วยสแกนที่มีป้ายกำกับจำกัด แต่มีคลังข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก
- การจำแนกประเภทข้อความ NLP โดยใช้การฝังประโยคจากแบบจำลองภาษาแบบกำกับตนเอง
- การสร้างเกณฑ์มาตรฐานและการเปรียบเทียบกลยุทธ์การฝึกเบื้องต้นแบบกำกับตนเองต่างๆ ผ่านการทำโพรบเชิงเส้น
- การจำแนกประเภทข้อมูลทางวิทยาศาสตร์ในชีววิทยาและเคมี ซึ่งการใส่คำอธิบายประกอบมีค่าใช้จ่ายสูง
- การตรวจจับเหตุการณ์เสียงโดยใช้ตัวเข้ารหัสเสียงแบบกำกับตนเอง ตามด้วยการถดถอยโลจิสติก
- การปรับโดเมนในทรัพยากรต่ำ (Low-resource domain adaptation) ซึ่งข้อมูลเป้าหมายที่มีป้ายกำกับมีจำกัด แต่มีข้อมูลที่ไม่มีป้ายกำกับ
วิธีการทำงาน
วิธีการทำงาน
งานตั้งต้นแบบกำกับตนเอง (self-supervised pretext task) ถูกกำหนดบนข้อมูลที่ไม่มีป้ายกำกับ เช่น การทำนายว่ามุมมองที่ถูกปรับเปลี่ยนสองมุมของภาพเดียวกันเกี่ยวข้องกันหรือไม่ (contrastive learning) การสร้างโทเค็นที่ถูกปิดบังขึ้นใหม่ (masked autoencoders) หรือการทำนายการหมุนของภาพ งานนี้ให้สัญญาณการฝึกอบรมโดยไม่มีป้ายกำกับจากมนุษย์ ซึ่งบังคับให้ตัวเข้ารหัสเรียนรู้การแทนค่าที่มีความหมายเชิงความหมาย (semantically meaningful representations)
ตัวเข้ารหัสโครงข่ายประสาท (neural network encoder) — ซึ่งมักจะเป็นโครงข่ายแบบสังวัตนาการ (convolutional network) หรือทรานส์ฟอร์มเมอร์ (transformer) — จะถูกฝึกเพื่อลดค่าความสูญเสียของงานตั้งต้น (pretext-task loss) บนคลังข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ หลังจากการฝึกอบรม ตัวเข้ารหัสจะจับโครงสร้างเชิงความหมายระดับสูงในการแทนค่าระดับกลาง (embeddings) แม้ว่าจะไม่มีป้ายกำกับคลาสเข้ามาเกี่ยวข้องเลย
น้ำหนักของตัวเข้ารหัสจะถูกตรึงไว้หลังจากการฝึกเบื้องต้น (pretraining) ตัวอย่างการฝึกอบรมที่มีป้ายกำกับแต่ละตัวจะถูกส่งผ่านตัวเข้ารหัสที่ถูกตรึงไว้เพื่อสร้างเวกเตอร์ฝังตัว (embedding vector) ที่มีความยาวคงที่ z การฝังตัวเหล่านี้ทำหน้าที่เป็นคุณลักษณะอินพุตสำหรับขั้นตอนการกำกับดูแลดาวน์สตรีม (downstream supervised step) แทนที่อินพุตดิบ
แบบจำลองการถดถอยโลจิสติกมาตรฐานจะถูกปรับให้เหมาะสมกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก โดยใช้การฝังตัวที่ถูกตรึงไว้ z เป็นคุณลักษณะ เนื่องจากเวกเตอร์ฝังตัวมีความสมบูรณ์เชิงความหมายอยู่แล้ว การถดถอยโลจิสติก — ซึ่งเป็นขอบเขตเชิงเส้นในปริภูมิการฝังตัว — มักจะเพียงพอที่จะบรรลุประสิทธิภาพการจำแนกประเภทที่แข็งแกร่งโดยไม่ต้องมีการปรับแต่งโครงข่ายเพิ่มเติม (neural fine-tuning)
สูตร
P(y=1 \mid \mathbf{z}) = \sigma(\mathbf{w}^\top \mathbf{z} + b)ตัวจำแนกโลจิสติกที่ฝึกอบรมแล้วจะถูกประเมินบนชุดทดสอบที่แยกไว้โดยใช้เมตริกมาตรฐาน: ความแม่นยำ (accuracy), F1, AUC-ROC ในเอกสารเกี่ยวกับเกณฑ์มาตรฐานการเรียนรู้แบบกำกับตนเอง สิ่งนี้เรียกว่ากระบวนการประเมินผลเชิงเส้น (linear evaluation protocol); ความแม่นยำเชิงเส้นสูงบนคุณลักษณะที่ถูกตรึงไว้บ่งชี้ว่าการฝึกเบื้องต้นได้เรียนรู้การแทนค่าที่มีประโยชน์และสามารถแยกแยะเชิงเส้นได้
ข้อผิดพลาดที่พบบ่อย
- การประเมินบนชุดข้อมูลที่ไม่มีป้ายกำกับเดียวกันกับที่ใช้สำหรับการฝึกเบื้องต้น — ตัวเข้ารหัสได้เห็นอินพุตเหล่านี้ ซึ่งอาจทำให้การประมาณค่าดาวน์สตรีมสูงเกินจริง
- การสันนิษฐานว่าคะแนนโพรบเชิงเส้นสูงหมายความว่าแบบจำลองจะสามารถสรุปผลไปยังโดเมนอื่นได้โดยไม่ต้องมีการตรวจสอบเพิ่มเติม
- การละเว้นการเพิ่มข้อมูล (data augmentation) หรือการใช้การเพิ่มข้อมูลที่ไม่เข้มข้นในการฝึกเบื้องต้นแบบเปรียบต่าง ซึ่งนำไปสู่การแทนค่าที่มีประสิทธิภาพต่ำ
- การใช้ชุดข้อมูลฝึกเบื้องต้นที่ไม่มีป้ายกำกับขนาดเล็กเกินไป ดังนั้นตัวเข้ารหัสจึงไม่สามารถเรียนรู้การแทนค่าที่ทั่วไปเพียงพอ
- การลืมตรึงตัวเข้ารหัสระหว่างการประเมินเชิงเส้น ซึ่งทำให้คุณภาพของตัวเข้ารหัสปะปนกับการปรับแต่งดาวน์สตรีม
คำถามที่พบบ่อย
โพรบเชิงเส้น (linear probe) ในการเรียนรู้แบบกำกับตนเองคืออะไร?
โพรบเชิงเส้น (linear probe) คือกระบวนการนี้: หลังจากการฝึกเบื้องต้นแบบกำกับตนเอง ตัวเข้ารหัสจะถูกตรึงไว้ และตัวจำแนกเชิงเส้นอย่างง่าย — โดยทั่วไปคือการถดถอยโลจิสติก — จะถูกฝึกบนเวกเตอร์ฝังตัวผลลัพธ์โดยใช้ข้อมูลที่มีป้ายกำกับ ความแม่นยำของโพรบเชิงเส้นเป็นเกณฑ์มาตรฐานว่าการแทนค่าที่ฝึกเบื้องต้นมีประโยชน์และสามารถแยกแยะเชิงเส้นได้ดีเพียงใด
ฉันควรใช้โพรบเชิงเส้นหรือการปรับแต่งทั้งหมด (full fine-tuning) ดี?
โพรบเชิงเส้นเร็วกว่าและแสดงให้เห็นว่าการแทนค่ามีประโยชน์แล้วหรือไม่ เป็นเกณฑ์มาตรฐานการประเมินมาตรฐาน การปรับแต่งทั้งหมดของตัวเข้ารหัสโดยทั่วไปให้ความแม่นยำดาวน์สตรีมที่สูงขึ้น โดยแลกกับข้อมูลที่มีป้ายกำกับและทรัพยากรคอมพิวเตอร์ที่มากขึ้น และมีความเสี่ยงที่จะลืมการแทนค่าที่ฝึกเบื้องต้น ในทางปฏิบัติ ควรทำโพรบเชิงเส้นก่อน จากนั้นจึงปรับแต่งหากจำเป็น
ฉันต้องการข้อมูลที่มีป้ายกำกับจำนวนเท่าใดสำหรับขั้นตอนการถดถอยโลจิสติก?
ข้อดีหลักประการหนึ่งคือผลลัพธ์ที่แข็งแกร่งมักจะสามารถบรรลุได้ด้วยตัวอย่างที่มีป้ายกำกับเพียงหนึ่งถึงสิบตัวอย่างต่อคลาส เมื่อการแทนค่าของตัวเข้ารหัสมีคุณภาพสูง อย่างไรก็ตาม การประเมินทั่วไปมักใช้ข้อมูลที่มีป้ายกำกับ 1–10% ที่มีอยู่เพื่อเปรียบเทียบวิธีการต่างๆ อย่างยุติธรรม
งานตั้งต้นจำเป็นต้องตรงกับงานดาวน์สตรีมของฉันหรือไม่?
ไม่เชิง แต่ความสอดคล้องกันมีความสำคัญ การฝึกเบื้องต้นแบบเปรียบต่างด้านการมองเห็นสามารถถ่ายทอดไปยังงานจำแนกประเภทภาพต่างๆ ได้ดี หากงานตั้งต้นแตกต่างจากงานดาวน์สตรีมมาก — ตัวอย่างเช่น การทำนายการหมุนของข้อความ แล้วใช้คุณลักษณะสำหรับการทำนายคุณสมบัติของโมเลกุล — การแทนค่าอาจไม่ดี ควรตรวจสอบคุณภาพการถ่ายทอดด้วยโพรบเชิงเส้นเสมอ
ฉันสามารถใช้วิธีนี้ได้หรือไม่หากไม่มีตัวเข้ารหัสโครงข่ายประสาทเชิงลึก?
การฝึกเบื้องต้นแบบกำกับตนเองมีประโยชน์มากที่สุดเมื่อตัวเข้ารหัสมีความสามารถในการแสดงออกเพียงพอที่จะเรียนรู้การแทนค่าที่ซับซ้อน สำหรับข้อมูลตาราง (tabular data) ทั่วไป การสร้างคุณลักษณะแบบคลาสสิก (feature engineering) หรือ autoencoders มักถูกใช้บ่อยกว่า กระบวนการแบบกำกับตนเองเชิงลึก + การถดถอยโลจิสติกมีผลกระทบมากที่สุดสำหรับภาพ ข้อความ เสียง และอินพุตที่มีโครงสร้างมิติสูงอื่นๆ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML), 1597–1607.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วvan Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373–440.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว