Active Learning Federated Learning
- ผู้เสนอ
- Multiple authors (federated active learning emerged ~2020)
- ปี
- 2020s
- ประเภท
- Hybrid paradigm (active querying within distributed training)
- กลุ่มวิธี
- Machine learning
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
Federated Active Learning ผสมผสานประสิทธิภาพในการใช้คำอธิบายประกอบ (annotation-efficiency) ของ active learning เข้ากับการกระจายศูนย์แบบรักษาความเป็นส่วนตัว (privacy-preserving decentralization) ของ federated learning โดยมีการฝึกโมเดลส่วนกลาง (global model) ร่วมกันในกลุ่มไคลเอนต์ที่กระจายตัวอยู่ ซึ่งแต่ละไคลเอนต์จะจัดอันดับข้อมูลท้องถิ่นที่ยังไม่มีคำอธิบายประกอบด้วยตนเอง และร้องขอคำอธิบายประกอบเฉพาะตัวอย่างที่มีข้อมูลมากที่สุดเท่านั้น โดยข้อมูลดิบจะยังคงอยู่บนอุปกรณ์ตลอดเวลา
แนวคิดเบื้องหลังวิธีการ
ในการทำ federated learning แบบมาตรฐาน ไคลเอนต์แต่ละรายจะฝึกฝนจากข้อมูลที่มีคำอธิบายประกอบอยู่แล้ว ในขณะที่ active learning แบบดั้งเดิมนั้น ผู้ให้ป้ายกำกับ (oracle) จะเป็นผู้เลือกตัวอย่างที่จะติดป้ายกำกับถัดไป Federated Active Learning ผสมผสานทั้งสองแนวคิดเข้าด้วยกัน: ไคลเอนต์แต่ละรายจะให้คะแนนชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบของตนเองในระดับท้องถิ่น เลือกตัวอย่างที่โมเดลมีความไม่แน่นอนมากที่สุด และส่งเฉพาะตัวอย่างเหล่านั้นไปยังผู้ให้คำอธิบายประกอบ จะไม่มีข้อมูลดิบใดออกจากไคลเอนต์ เซิร์ฟเวอร์ส่วนกลางจะรวบรวมโมเดลที่ปรับปรุงแล้วในระดับท้องถิ่นเข้าด้วยกันเช่นเดียวกับใน federated learning แบบมาตรฐาน เพื่อให้โมเดลส่วนกลางได้รับการปรับปรุงจากป้ายกำกับใหม่ที่มีข้อมูลมากที่สุด โดยไม่ต้องรวบรวมข้อมูลต้นฉบับไว้ที่ส่วนกลาง
ประวัติศาสตร์
Federated learning ได้รับการกำหนดรูปแบบอย่างเป็นทางการโดย McMahan et al. ในปี 2017 ด้วยอัลกอริทึม FedAvg ซึ่งช่วยให้การฝึกโมเดลแบบกระจายศูนย์ที่รักษาความเป็นส่วนตัวได้ Active learning มีรากฐานมาจากวรรณกรรม query-by-committee และ uncertainty sampling ในช่วงทศวรรษ 1990 การผสมผสานทั้งสองเข้าด้วยกัน — Federated Active Learning — ได้กลายเป็นหัวข้อวิจัยที่กำลังมาแรงในช่วงต้นทศวรรษ 2020 โดยได้รับแรงผลักดันจากความต้องการลดต้นทุนการติดป้ายกำกับในด้านการดูแลสุขภาพ มือถือ และแอปพลิเคชัน IoT ที่ไม่สามารถรวบรวมข้อมูลไว้ที่ส่วนกลางได้ หลายกลุ่มได้เสนอเฟรมเวิร์กที่ผสมผสานการประมาณค่าความไม่แน่นอนในระดับท้องถิ่นเข้ากับการรวบรวมแบบสหพันธ์ (federated aggregation) โดยอิสระ และสาขานี้ยังคงเป็นขอบเขตการวิจัยที่เปิดกว้าง
ควรใช้เมื่อใด
ใช้ Federated Active Learning เมื่อข้อมูลที่มีคำอธิบายประกอบมีน้อยในกลุ่มไคลเอนต์ที่กระจายตัว การติดป้ายกำกับมีค่าใช้จ่ายสูงหรือต้องใช้ความเชี่ยวชาญเฉพาะทาง และข้อมูลดิบต้องอยู่บนอุปกรณ์เพื่อเหตุผลด้านความเป็นส่วนตัว กฎระเบียบ หรือแบนด์วิดท์ — ตัวอย่างเช่น บันทึกทางการแพทย์ระหว่างโรงพยาบาล ข้อมูลผู้ใช้บนอุปกรณ์มือถือ หรือสตรีมข้อมูลจากเซ็นเซอร์ IoT วิธีนี้มีประสิทธิภาพอย่างยิ่งเมื่อการกระจายข้อมูลของไคลเอนต์มีความหลากหลาย (non-IID) และงบประมาณการติดป้ายกำกับมีจำกัด อย่าใช้เมื่อสามารถรวบรวมข้อมูลทั้งหมดไว้ที่ส่วนกลางได้อย่างอิสระ (active learning แบบธรรมดาก็เพียงพอ) เมื่อไคลเอนต์ขาดพลังประมวลผลในการให้คะแนนชุดข้อมูลของตนเอง เมื่อป้ายกำกับมีสัญญาณรบกวนสูง (uncertainty sampling อาจใช้ประโยชน์จากป้ายกำกับที่มีสัญญาณรบกวน) หรือเมื่อความหน่วงระหว่างรอบการติดป้ายกำกับเป็นข้อจำกัด
ข้อจำกัดและข้อควรพิจารณา
- ปริมาณการสื่อสารต่อรอบจะเพิ่มขึ้นตามจำนวนไคลเอนต์ที่รายงานการเลือกแบบสอบถาม
- การกระจายตัวของไคลเอนต์แบบ Non-IID อาจทำให้การเลือก active learning มีความเอนเอียงไปยังค่าต่ำสุดเฉพาะที่ (local minima) ของฟังก์ชันต้นทุนส่วนกลาง
- การซิงโครไนซ์รอบการติดป้ายกำกับระหว่างไคลเอนต์ที่กระจายตัวทำให้เกิดความหน่วงและความซับซ้อนในการประสานงาน
- การประเมินประสิทธิภาพของโมเดลทำได้ยากขึ้นหากไม่มีชุดข้อมูลทดสอบที่มีคำอธิบายประกอบแบบรวมศูนย์
- การจัดสรรงบประมาณการติดป้ายกำกับระหว่างไคลเอนต์ต้องมีการปรับแต่งอย่างรอบคอบเพื่อหลีกเลี่ยงการทำให้ไคลเอนต์ขนาดเล็กหรือไคลเอนต์กลุ่มน้อยขาดแคลน
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- รักษาความเป็นส่วนตัวของข้อมูลโดยเก็บตัวอย่างดิบไว้บนอุปกรณ์และแชร์เฉพาะการอัปเดตโมเดล
- ลดต้นทุนการติดป้ายกำกับลงอย่างมากโดยการสอบถามเฉพาะตัวอย่างที่มีข้อมูลมากที่สุดต่อรอบ
- จัดการกับการกระจายตัวของไคลเอนต์ที่หลากหลายซึ่งอาจทำให้ active learner แบบรวมศูนย์เข้าใจผิด
- ปรับขนาดได้ในแนวนอน — ไคลเอนต์ที่มากขึ้นมักจะช่วยเพิ่มความครอบคลุมของพื้นที่ที่ยังไม่มีคำอธิบายประกอบ
- เข้ากันได้กับ differential privacy และ secure aggregation เพื่อการรับประกันความเป็นส่วนตัวที่แข็งแกร่งขึ้น
การประยุกต์ใช้
- การติดป้ายกำกับภาพทางการแพทย์ระหว่างโรงพยาบาลที่ไม่สามารถแบ่งปันข้อมูลผู้ป่วยได้
- การปรับให้เหมาะกับอุปกรณ์เฉพาะบุคคลสำหรับแป้นพิมพ์มือถือหรือการรู้จำเสียงพูด โดยมีการติดป้ายกำกับจากผู้ใช้น้อยที่สุด
- การตรวจจับความผิดปกติของ IoT ในภาคอุตสาหกรรม ซึ่งข้อมูลเซ็นเซอร์ต้องคงอยู่บนโหนดปลายทาง (edge nodes)
- การตรวจสอบการทดลองทางคลินิกแบบกระจายศูนย์ ซึ่งต้องการการอัปเดตโมเดลแบบสหพันธ์ที่รักษาความเป็นส่วนตัว
- การปรับแต่ง NLP ข้ามองค์กร (Cross-silo) ระหว่างองค์กรที่มีคลังข้อมูลที่เป็นกรรมสิทธิ์
- การจำแนกประเภทการสำรวจระยะไกล (Remote sensing) ซึ่งภาพถ่ายดาวเทียมถูกจัดเก็บในศูนย์ข้อมูลที่กระจายทางภูมิศาสตร์
วิธีการทำงาน
วิธีการทำงาน
โมเดลส่วนกลางจะถูกเริ่มต้นและกระจายไปยังไคลเอนต์ที่เข้าร่วมทั้งหมด ซึ่งอาจเป็นโมเดลที่เริ่มต้นแบบสุ่ม หรือ checkpoint ที่ฝึกไว้ล่วงหน้า และโมเดลนี้จะกำหนดจุดเริ่มต้นร่วมกันสำหรับรอบการทำงาน
ไคลเอนต์แต่ละรายจะใช้โมเดลส่วนกลางปัจจุบันกับชุดข้อมูลท้องถิ่นที่ยังไม่มีคำอธิบายประกอบของตนเอง และคำนวณคะแนนความเป็นข้อมูล (informativeness score) สำหรับแต่ละตัวอย่าง เช่น prediction entropy, margin sampling หรือ query-by-committee disagreement โดยไม่ต้องส่งข้อมูล
จากคะแนนความเป็นข้อมูล ไคลเอนต์แต่ละรายจะเลือกชุดตัวอย่างที่น่าสนใจที่สุดหรือเป็นตัวแทนมากที่สุดที่ยังไม่มีคำอธิบายประกอบ เพื่อนำไปติดป้ายกำกับ กลยุทธ์การเลือกจะสร้างสมดุลระหว่างการสำรวจ (exploration) กับงบประมาณการติดป้ายกำกับที่มีอยู่ต่อรอบ
ตัวอย่างที่เลือก (หรือเฉพาะตัวระบุและคุณลักษณะที่จำเป็นสำหรับการติดป้ายกำกับ) จะถูกส่งไปยังผู้ให้คำอธิบายประกอบที่เป็นมนุษย์หรือระบบอัตโนมัติ และจะได้รับป้ายกำกับกลับมายังไคลเอนต์ นี่เป็นขั้นตอนเดียวที่ข้อมูลอาจออกจากอุปกรณ์ได้ และในการใช้งานที่คำนึงถึงความเป็นส่วนตัว ผู้ให้คำอธิบายประกอบเท่านั้นที่จะได้รับข้อมูล
ไคลเอนต์แต่ละรายจะปรับแต่งโมเดลส่วนกลางด้วยตัวอย่างที่ติดป้ายกำกับใหม่ — และอาจรวมถึงชุดข้อมูลที่มีคำอธิบายประกอบอยู่แล้ว — โดยใช้การปรับให้เหมาะสมแบบ SGD หรือ Adam ในระดับท้องถิ่นเป็นเวลาจำนวนรอบที่กำหนด
ไคลเอนต์จะอัปโหลดการอัปเดตโมเดล (gradients หรือ weight deltas, ไม่ใช่ข้อมูล) ไปยังเซิร์ฟเวอร์ เซิร์ฟเวอร์จะรวบรวมการอัปเดตเหล่านี้ โดยทั่วไปผ่าน FedAvg (การหาค่าเฉลี่ยแบบถ่วงน้ำหนัก) เพื่อสร้างโมเดลส่วนกลางที่อัปเดตแล้ว ซึ่งจะถูกกระจายออกไปเพื่อเริ่มต้นรอบถัดไป
ข้อผิดพลาดที่พบบ่อย
- การใช้ฟังก์ชันการได้มาซึ่งข้อมูล (acquisition function) ของ active learning แบบรวมศูนย์โดยตรงโดยไม่คำนึงถึงการเปลี่ยนแปลงการกระจายตัวระหว่างไคลเอนต์ — การประมาณค่าความไม่แน่นอนในระดับท้องถิ่นอาจไม่สะท้อนถึงความไม่แน่นอนของโมเดลส่วนกลาง
- การละเลยต้นทุนการสื่อสารเมื่อออกแบบงบประมาณการสอบถาม: การขอคำอธิบายประกอบสำหรับตัวอย่างมากเกินไปต่อไคลเอนต์ต่อรอบอาจทำให้ไปป์ไลน์การติดป้ายกำกับทำงานหนักเกินไป
- การพิจารณาว่าโมเดลส่วนกลางบรรจบกันแล้วหลังจากรอบการรวมแบบสหพันธ์น้อยเกินไปก่อนที่จะทำการสอบถาม ซึ่งนำไปสู่การประมาณค่าความไม่แน่นอนที่ไม่แม่นยำ
- การละเลยไคลเอนต์ที่ช้า (stragglers) — ไคลเอนต์ที่ช้าหรือไม่พร้อมใช้งานเป็นครั้งคราว — ซึ่งอาจทำให้การรวบรวมข้อมูลเอนเอียงไปยังการกระจายตัวของไคลเอนต์ที่เร็วกว่า
- การสมมติว่าข้อมูลไคลเอนต์เป็นแบบ IID เมื่อใช้การรวบรวมแบบ FedAvg ซึ่งอาจทำให้เกิดการลู่ออก (divergence) เมื่อการกระจายตัวของไคลเอนต์มีความหลากหลายสูง
คำถามที่พบบ่อย
Federated Active Learning แตกต่างจาก Federated Learning แบบมาตรฐานอย่างไร?
Federated Learning แบบมาตรฐานฝึกฝนเฉพาะข้อมูลที่มีคำอธิบายประกอบที่ไคลเอนต์มีอยู่แล้ว Federated Active Learning เพิ่มขั้นตอนการสอบถามแบบ active: ไคลเอนต์แต่ละรายจะให้คะแนนชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบของตนเอง และเลือกตัวอย่างที่มีข้อมูลมากที่สุดเพื่อติดป้ายกำกับ ทำให้โมเดลส่วนกลางสามารถปรับปรุงได้ด้วยจำนวนป้ายกำกับทั้งหมดที่น้อยลงมาก
ควรใช้ acquisition function ใดสำหรับการให้คะแนนในระดับท้องถิ่น?
Entropy sampling (การเลือกตัวอย่างที่มี predictive entropy สูงสุด) เป็นจุดเริ่มต้นที่พบบ่อยที่สุดและทำงานได้ดีเมื่อโมเดลท้องถิ่นมีการสอบเทียบ (calibrated) ที่เหมาะสม Margin sampling และ BALD (Bayesian Active Learning by Disagreement) เป็นทางเลือกที่ดีเมื่อการสอบเทียบความไม่แน่นอนทั่วทั้งระบบสหพันธ์เป็นข้อกังวล
สามารถรวม Federated Active Learning กับ differential privacy ได้หรือไม่?
ได้ กลไก differential privacy เช่น DP-SGD สามารถนำมาใช้ระหว่างการฝึกอบรมในระดับท้องถิ่น และ secure aggregation สามารถใช้ที่ฝั่งเซิร์ฟเวอร์ได้ งบประมาณความเป็นส่วนตัว (privacy budget) ต้องครอบคลุมทั้งการอัปเดตโมเดลและข้อมูลเมตาใดๆ เกี่ยวกับตัวอย่างที่ถูกเลือกสำหรับการสอบถาม
จะเกิดอะไรขึ้นเมื่อไคลเอนต์มีข้อมูลที่ยังไม่มีคำอธิบายประกอบในปริมาณที่แตกต่างกันมาก?
ไคลเอนต์ที่มีชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบขนาดใหญ่จะมีอิทธิพลต่องบประมาณการสอบถาม หากแต่ละไคลเอนต์ได้รับโควตาจำนวนเท่ากัน การจัดสรรงบประมาณตามสัดส่วนหรือแบบปรับได้ — การปรับงบประมาณการติดป้ายกำกับของแต่ละไคลเอนต์ตามขนาดหรือความเป็นข้อมูลโดยประมาณของชุดข้อมูล — จะช่วยลดความไม่สมดุลนี้
โดยทั่วไปต้องใช้กี่รอบของการเรียนรู้แบบสหพันธ์ (federation rounds) ก่อนที่การสอบถามแบบ active จะมีประโยชน์?
ขึ้นอยู่กับคุณภาพของโมเดลเริ่มต้น การเริ่มต้นด้วยการฝึกแบบสหพันธ์มาตรฐานอย่างน้อยสองสามรอบด้วยข้อมูลที่มีคำอธิบายประกอบที่มีอยู่ จะช่วยปรับปรุงการสอบเทียบค่าประมาณความไม่แน่นอนก่อนที่จะเปิดใช้งานการสอบถามแบบ active การสอบถามแบบ cold-start ด้วยโมเดลเริ่มต้นแบบสุ่มอาจทำให้งบประมาณการติดป้ายกำกับสูญเปล่าไปกับตัวอย่างที่ไม่มีข้อมูล
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้วFederated learning. Wikipedia.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว