Skip to content
กลับไปยังผลการค้นหา

Active Learning Federated Learning

ผู้เสนอ
Multiple authors (federated active learning emerged ~2020)
ปี
2020s
ประเภท
Hybrid paradigm (active querying within distributed training)
กลุ่มวิธี
Machine learning

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

Federated Active Learning ผสมผสานประสิทธิภาพในการใช้คำอธิบายประกอบ (annotation-efficiency) ของ active learning เข้ากับการกระจายศูนย์แบบรักษาความเป็นส่วนตัว (privacy-preserving decentralization) ของ federated learning โดยมีการฝึกโมเดลส่วนกลาง (global model) ร่วมกันในกลุ่มไคลเอนต์ที่กระจายตัวอยู่ ซึ่งแต่ละไคลเอนต์จะจัดอันดับข้อมูลท้องถิ่นที่ยังไม่มีคำอธิบายประกอบด้วยตนเอง และร้องขอคำอธิบายประกอบเฉพาะตัวอย่างที่มีข้อมูลมากที่สุดเท่านั้น โดยข้อมูลดิบจะยังคงอยู่บนอุปกรณ์ตลอดเวลา

แนวคิดเบื้องหลังวิธีการ

ในการทำ federated learning แบบมาตรฐาน ไคลเอนต์แต่ละรายจะฝึกฝนจากข้อมูลที่มีคำอธิบายประกอบอยู่แล้ว ในขณะที่ active learning แบบดั้งเดิมนั้น ผู้ให้ป้ายกำกับ (oracle) จะเป็นผู้เลือกตัวอย่างที่จะติดป้ายกำกับถัดไป Federated Active Learning ผสมผสานทั้งสองแนวคิดเข้าด้วยกัน: ไคลเอนต์แต่ละรายจะให้คะแนนชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบของตนเองในระดับท้องถิ่น เลือกตัวอย่างที่โมเดลมีความไม่แน่นอนมากที่สุด และส่งเฉพาะตัวอย่างเหล่านั้นไปยังผู้ให้คำอธิบายประกอบ จะไม่มีข้อมูลดิบใดออกจากไคลเอนต์ เซิร์ฟเวอร์ส่วนกลางจะรวบรวมโมเดลที่ปรับปรุงแล้วในระดับท้องถิ่นเข้าด้วยกันเช่นเดียวกับใน federated learning แบบมาตรฐาน เพื่อให้โมเดลส่วนกลางได้รับการปรับปรุงจากป้ายกำกับใหม่ที่มีข้อมูลมากที่สุด โดยไม่ต้องรวบรวมข้อมูลต้นฉบับไว้ที่ส่วนกลาง

ประวัติศาสตร์

Federated learning ได้รับการกำหนดรูปแบบอย่างเป็นทางการโดย McMahan et al. ในปี 2017 ด้วยอัลกอริทึม FedAvg ซึ่งช่วยให้การฝึกโมเดลแบบกระจายศูนย์ที่รักษาความเป็นส่วนตัวได้ Active learning มีรากฐานมาจากวรรณกรรม query-by-committee และ uncertainty sampling ในช่วงทศวรรษ 1990 การผสมผสานทั้งสองเข้าด้วยกัน — Federated Active Learning — ได้กลายเป็นหัวข้อวิจัยที่กำลังมาแรงในช่วงต้นทศวรรษ 2020 โดยได้รับแรงผลักดันจากความต้องการลดต้นทุนการติดป้ายกำกับในด้านการดูแลสุขภาพ มือถือ และแอปพลิเคชัน IoT ที่ไม่สามารถรวบรวมข้อมูลไว้ที่ส่วนกลางได้ หลายกลุ่มได้เสนอเฟรมเวิร์กที่ผสมผสานการประมาณค่าความไม่แน่นอนในระดับท้องถิ่นเข้ากับการรวบรวมแบบสหพันธ์ (federated aggregation) โดยอิสระ และสาขานี้ยังคงเป็นขอบเขตการวิจัยที่เปิดกว้าง

ควรใช้เมื่อใด

ใช้ Federated Active Learning เมื่อข้อมูลที่มีคำอธิบายประกอบมีน้อยในกลุ่มไคลเอนต์ที่กระจายตัว การติดป้ายกำกับมีค่าใช้จ่ายสูงหรือต้องใช้ความเชี่ยวชาญเฉพาะทาง และข้อมูลดิบต้องอยู่บนอุปกรณ์เพื่อเหตุผลด้านความเป็นส่วนตัว กฎระเบียบ หรือแบนด์วิดท์ — ตัวอย่างเช่น บันทึกทางการแพทย์ระหว่างโรงพยาบาล ข้อมูลผู้ใช้บนอุปกรณ์มือถือ หรือสตรีมข้อมูลจากเซ็นเซอร์ IoT วิธีนี้มีประสิทธิภาพอย่างยิ่งเมื่อการกระจายข้อมูลของไคลเอนต์มีความหลากหลาย (non-IID) และงบประมาณการติดป้ายกำกับมีจำกัด อย่าใช้เมื่อสามารถรวบรวมข้อมูลทั้งหมดไว้ที่ส่วนกลางได้อย่างอิสระ (active learning แบบธรรมดาก็เพียงพอ) เมื่อไคลเอนต์ขาดพลังประมวลผลในการให้คะแนนชุดข้อมูลของตนเอง เมื่อป้ายกำกับมีสัญญาณรบกวนสูง (uncertainty sampling อาจใช้ประโยชน์จากป้ายกำกับที่มีสัญญาณรบกวน) หรือเมื่อความหน่วงระหว่างรอบการติดป้ายกำกับเป็นข้อจำกัด

ข้อจำกัดและข้อควรพิจารณา

  • ปริมาณการสื่อสารต่อรอบจะเพิ่มขึ้นตามจำนวนไคลเอนต์ที่รายงานการเลือกแบบสอบถาม
  • การกระจายตัวของไคลเอนต์แบบ Non-IID อาจทำให้การเลือก active learning มีความเอนเอียงไปยังค่าต่ำสุดเฉพาะที่ (local minima) ของฟังก์ชันต้นทุนส่วนกลาง
  • การซิงโครไนซ์รอบการติดป้ายกำกับระหว่างไคลเอนต์ที่กระจายตัวทำให้เกิดความหน่วงและความซับซ้อนในการประสานงาน
  • การประเมินประสิทธิภาพของโมเดลทำได้ยากขึ้นหากไม่มีชุดข้อมูลทดสอบที่มีคำอธิบายประกอบแบบรวมศูนย์
  • การจัดสรรงบประมาณการติดป้ายกำกับระหว่างไคลเอนต์ต้องมีการปรับแต่งอย่างรอบคอบเพื่อหลีกเลี่ยงการทำให้ไคลเอนต์ขนาดเล็กหรือไคลเอนต์กลุ่มน้อยขาดแคลน

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • รักษาความเป็นส่วนตัวของข้อมูลโดยเก็บตัวอย่างดิบไว้บนอุปกรณ์และแชร์เฉพาะการอัปเดตโมเดล
  • ลดต้นทุนการติดป้ายกำกับลงอย่างมากโดยการสอบถามเฉพาะตัวอย่างที่มีข้อมูลมากที่สุดต่อรอบ
  • จัดการกับการกระจายตัวของไคลเอนต์ที่หลากหลายซึ่งอาจทำให้ active learner แบบรวมศูนย์เข้าใจผิด
  • ปรับขนาดได้ในแนวนอน — ไคลเอนต์ที่มากขึ้นมักจะช่วยเพิ่มความครอบคลุมของพื้นที่ที่ยังไม่มีคำอธิบายประกอบ
  • เข้ากันได้กับ differential privacy และ secure aggregation เพื่อการรับประกันความเป็นส่วนตัวที่แข็งแกร่งขึ้น

การประยุกต์ใช้

  • การติดป้ายกำกับภาพทางการแพทย์ระหว่างโรงพยาบาลที่ไม่สามารถแบ่งปันข้อมูลผู้ป่วยได้
  • การปรับให้เหมาะกับอุปกรณ์เฉพาะบุคคลสำหรับแป้นพิมพ์มือถือหรือการรู้จำเสียงพูด โดยมีการติดป้ายกำกับจากผู้ใช้น้อยที่สุด
  • การตรวจจับความผิดปกติของ IoT ในภาคอุตสาหกรรม ซึ่งข้อมูลเซ็นเซอร์ต้องคงอยู่บนโหนดปลายทาง (edge nodes)
  • การตรวจสอบการทดลองทางคลินิกแบบกระจายศูนย์ ซึ่งต้องการการอัปเดตโมเดลแบบสหพันธ์ที่รักษาความเป็นส่วนตัว
  • การปรับแต่ง NLP ข้ามองค์กร (Cross-silo) ระหว่างองค์กรที่มีคลังข้อมูลที่เป็นกรรมสิทธิ์
  • การจำแนกประเภทการสำรวจระยะไกล (Remote sensing) ซึ่งภาพถ่ายดาวเทียมถูกจัดเก็บในศูนย์ข้อมูลที่กระจายทางภูมิศาสตร์

วิธีการทำงาน

วิธีการทำงาน

1

โมเดลส่วนกลางจะถูกเริ่มต้นและกระจายไปยังไคลเอนต์ที่เข้าร่วมทั้งหมด ซึ่งอาจเป็นโมเดลที่เริ่มต้นแบบสุ่ม หรือ checkpoint ที่ฝึกไว้ล่วงหน้า และโมเดลนี้จะกำหนดจุดเริ่มต้นร่วมกันสำหรับรอบการทำงาน

2

ไคลเอนต์แต่ละรายจะใช้โมเดลส่วนกลางปัจจุบันกับชุดข้อมูลท้องถิ่นที่ยังไม่มีคำอธิบายประกอบของตนเอง และคำนวณคะแนนความเป็นข้อมูล (informativeness score) สำหรับแต่ละตัวอย่าง เช่น prediction entropy, margin sampling หรือ query-by-committee disagreement โดยไม่ต้องส่งข้อมูล

3

จากคะแนนความเป็นข้อมูล ไคลเอนต์แต่ละรายจะเลือกชุดตัวอย่างที่น่าสนใจที่สุดหรือเป็นตัวแทนมากที่สุดที่ยังไม่มีคำอธิบายประกอบ เพื่อนำไปติดป้ายกำกับ กลยุทธ์การเลือกจะสร้างสมดุลระหว่างการสำรวจ (exploration) กับงบประมาณการติดป้ายกำกับที่มีอยู่ต่อรอบ

4

ตัวอย่างที่เลือก (หรือเฉพาะตัวระบุและคุณลักษณะที่จำเป็นสำหรับการติดป้ายกำกับ) จะถูกส่งไปยังผู้ให้คำอธิบายประกอบที่เป็นมนุษย์หรือระบบอัตโนมัติ และจะได้รับป้ายกำกับกลับมายังไคลเอนต์ นี่เป็นขั้นตอนเดียวที่ข้อมูลอาจออกจากอุปกรณ์ได้ และในการใช้งานที่คำนึงถึงความเป็นส่วนตัว ผู้ให้คำอธิบายประกอบเท่านั้นที่จะได้รับข้อมูล

5

ไคลเอนต์แต่ละรายจะปรับแต่งโมเดลส่วนกลางด้วยตัวอย่างที่ติดป้ายกำกับใหม่ — และอาจรวมถึงชุดข้อมูลที่มีคำอธิบายประกอบอยู่แล้ว — โดยใช้การปรับให้เหมาะสมแบบ SGD หรือ Adam ในระดับท้องถิ่นเป็นเวลาจำนวนรอบที่กำหนด

6

ไคลเอนต์จะอัปโหลดการอัปเดตโมเดล (gradients หรือ weight deltas, ไม่ใช่ข้อมูล) ไปยังเซิร์ฟเวอร์ เซิร์ฟเวอร์จะรวบรวมการอัปเดตเหล่านี้ โดยทั่วไปผ่าน FedAvg (การหาค่าเฉลี่ยแบบถ่วงน้ำหนัก) เพื่อสร้างโมเดลส่วนกลางที่อัปเดตแล้ว ซึ่งจะถูกกระจายออกไปเพื่อเริ่มต้นรอบถัดไป

ข้อผิดพลาดที่พบบ่อย

  • การใช้ฟังก์ชันการได้มาซึ่งข้อมูล (acquisition function) ของ active learning แบบรวมศูนย์โดยตรงโดยไม่คำนึงถึงการเปลี่ยนแปลงการกระจายตัวระหว่างไคลเอนต์ — การประมาณค่าความไม่แน่นอนในระดับท้องถิ่นอาจไม่สะท้อนถึงความไม่แน่นอนของโมเดลส่วนกลาง
  • การละเลยต้นทุนการสื่อสารเมื่อออกแบบงบประมาณการสอบถาม: การขอคำอธิบายประกอบสำหรับตัวอย่างมากเกินไปต่อไคลเอนต์ต่อรอบอาจทำให้ไปป์ไลน์การติดป้ายกำกับทำงานหนักเกินไป
  • การพิจารณาว่าโมเดลส่วนกลางบรรจบกันแล้วหลังจากรอบการรวมแบบสหพันธ์น้อยเกินไปก่อนที่จะทำการสอบถาม ซึ่งนำไปสู่การประมาณค่าความไม่แน่นอนที่ไม่แม่นยำ
  • การละเลยไคลเอนต์ที่ช้า (stragglers) — ไคลเอนต์ที่ช้าหรือไม่พร้อมใช้งานเป็นครั้งคราว — ซึ่งอาจทำให้การรวบรวมข้อมูลเอนเอียงไปยังการกระจายตัวของไคลเอนต์ที่เร็วกว่า
  • การสมมติว่าข้อมูลไคลเอนต์เป็นแบบ IID เมื่อใช้การรวบรวมแบบ FedAvg ซึ่งอาจทำให้เกิดการลู่ออก (divergence) เมื่อการกระจายตัวของไคลเอนต์มีความหลากหลายสูง

คำถามที่พบบ่อย

Federated Active Learning แตกต่างจาก Federated Learning แบบมาตรฐานอย่างไร?

Federated Learning แบบมาตรฐานฝึกฝนเฉพาะข้อมูลที่มีคำอธิบายประกอบที่ไคลเอนต์มีอยู่แล้ว Federated Active Learning เพิ่มขั้นตอนการสอบถามแบบ active: ไคลเอนต์แต่ละรายจะให้คะแนนชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบของตนเอง และเลือกตัวอย่างที่มีข้อมูลมากที่สุดเพื่อติดป้ายกำกับ ทำให้โมเดลส่วนกลางสามารถปรับปรุงได้ด้วยจำนวนป้ายกำกับทั้งหมดที่น้อยลงมาก

ควรใช้ acquisition function ใดสำหรับการให้คะแนนในระดับท้องถิ่น?

Entropy sampling (การเลือกตัวอย่างที่มี predictive entropy สูงสุด) เป็นจุดเริ่มต้นที่พบบ่อยที่สุดและทำงานได้ดีเมื่อโมเดลท้องถิ่นมีการสอบเทียบ (calibrated) ที่เหมาะสม Margin sampling และ BALD (Bayesian Active Learning by Disagreement) เป็นทางเลือกที่ดีเมื่อการสอบเทียบความไม่แน่นอนทั่วทั้งระบบสหพันธ์เป็นข้อกังวล

สามารถรวม Federated Active Learning กับ differential privacy ได้หรือไม่?

ได้ กลไก differential privacy เช่น DP-SGD สามารถนำมาใช้ระหว่างการฝึกอบรมในระดับท้องถิ่น และ secure aggregation สามารถใช้ที่ฝั่งเซิร์ฟเวอร์ได้ งบประมาณความเป็นส่วนตัว (privacy budget) ต้องครอบคลุมทั้งการอัปเดตโมเดลและข้อมูลเมตาใดๆ เกี่ยวกับตัวอย่างที่ถูกเลือกสำหรับการสอบถาม

จะเกิดอะไรขึ้นเมื่อไคลเอนต์มีข้อมูลที่ยังไม่มีคำอธิบายประกอบในปริมาณที่แตกต่างกันมาก?

ไคลเอนต์ที่มีชุดข้อมูลที่ยังไม่มีคำอธิบายประกอบขนาดใหญ่จะมีอิทธิพลต่องบประมาณการสอบถาม หากแต่ละไคลเอนต์ได้รับโควตาจำนวนเท่ากัน การจัดสรรงบประมาณตามสัดส่วนหรือแบบปรับได้ — การปรับงบประมาณการติดป้ายกำกับของแต่ละไคลเอนต์ตามขนาดหรือความเป็นข้อมูลโดยประมาณของชุดข้อมูล — จะช่วยลดความไม่สมดุลนี้

โดยทั่วไปต้องใช้กี่รอบของการเรียนรู้แบบสหพันธ์ (federation rounds) ก่อนที่การสอบถามแบบ active จะมีประโยชน์?

ขึ้นอยู่กับคุณภาพของโมเดลเริ่มต้น การเริ่มต้นด้วยการฝึกแบบสหพันธ์มาตรฐานอย่างน้อยสองสามรอบด้วยข้อมูลที่มีคำอธิบายประกอบที่มีอยู่ จะช่วยปรับปรุงการสอบเทียบค่าประมาณความไม่แน่นอนก่อนที่จะเปิดใช้งานการสอบถามแบบ active การสอบถามแบบ cold-start ด้วยโมเดลเริ่มต้นแบบสุ่มอาจทำให้งบประมาณการติดป้ายกำกับสูญเปล่าไปกับตัวอย่างที่ไม่มีข้อมูล

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Ro, J. Y., Ali, A., Lin, Z., & Suresh, A. T. (2021). Scaling Federated Learning for Fine-tuning of Large Language Models. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP).

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Federated learning. Wikipedia.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว