สหพันธ์การเรียนรู้
- ผู้เสนอ
- McMahan et al.
- ปี
- 2017
- ประเภท
- Distributed privacy-preserving machine learning
- กลุ่มวิธี
- Privacy-preserving analysis
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
สหพันธ์การเรียนรู้ (Federated Learning) เป็นกระบวนทัศน์การเรียนรู้ของเครื่องแบบกระจายศูนย์ที่นำเสนอโดย McMahan และคณะในปี 2017 ซึ่งมีการฝึกโมเดลส่วนกลาง (global model) ร่วมกันในหลายไคลเอนต์แบบกระจายศูนย์ (decentralized clients) เช่น อุปกรณ์เคลื่อนที่หรือระบบโรงพยาบาล โดยไม่ต้องถ่ายโอนข้อมูลดิบไปยังเซิร์ฟเวอร์ส่วนกลาง แต่ละส่วนจะคำนวณการอัปเดตโมเดลในเครื่องโดยใช้ข้อมูลส่วนตัวของตนเอง และมีเพียงการอัปเดตเหล่านั้นเท่านั้นที่ไม่ใช่ข้อมูลพื้นฐานที่จะถูกสื่อสารและรวบรวมโดยเซิร์ฟเวอร์เพื่อปรับปรุงโมเดลที่ใช้ร่วมกัน
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการถึงกลุ่มนักวิจัยในโรงพยาบาลต่างๆ ที่แต่ละแห่งศึกษาบันทึกผู้ป่วยซึ่งพวกเขาไม่สามารถแบ่งปันได้เนื่องจากกฎหมายความเป็นส่วนตัว แทนที่จะรวบรวมบันทึกไว้ในฐานข้อมูลเดียว โรงพยาบาลแต่ละแห่งจะฝึกโมเดลเวอร์ชันท้องถิ่นบนผู้ป่วยของตนเอง จากนั้นจึงส่งเฉพาะสรุปสิ่งที่ได้เรียนรู้ ไม่ใช่บันทึกเอง ไปยังผู้ประสานงาน ซึ่งจะผสมผสานสรุปทั้งหมดเข้าเป็นโมเดลที่ปรับปรุงแล้วเพียงโมเดลเดียว ข้อมูลผู้ป่วยไม่เคยออกจากสถาบันต้นทาง แต่ความรู้โดยรวมของทุกโรงพยาบาลจะถูกรวบรวมไว้
ประวัติศาสตร์
คำศัพท์และกรอบงานนี้ถูกนำเสนอโดย McMahan และคณะที่ Google ในปี 2017 โดยมีแรงจูงใจจากความต้องการฝึกโมเดลภาษาบนอุปกรณ์เคลื่อนที่โดยไม่ต้องอัปโหลดข้อความที่ละเอียดอ่อน อัลกอริทึม FedAvg พื้นฐานแสดงให้เห็นว่าการหาค่าเฉลี่ยน้ำหนักที่ฝึกในเครื่องมีประสิทธิภาพในการสื่อสารและสามารถแข่งขันกับการฝึกแบบรวมศูนย์ได้ การวิจัยต่อมาได้ขยายสหพันธ์การเรียนรู้เพื่อจัดการกับข้อมูล non-IID เพิ่มการรับประกันความเป็นส่วนตัวเชิงอนุพันธ์อย่างเป็นทางการ รวมการคำนวณแบบหลายฝ่ายที่ปลอดภัย (secure multi-party computation) สำหรับการรวบรวม และนำกระบวนทัศน์ไปใช้กับการตั้งค่าแบบข้ามไซโล (cross-silo) เช่น เครือข่ายโรงพยาบาล
ควรใช้เมื่อใด
ใช้สหพันธ์การเรียนรู้เมื่อข้อมูลการฝึกอบรมกระจายอยู่ในหลายไคลเอนต์และไม่สามารถรวมศูนย์ได้เนื่องจากกฎระเบียบด้านความเป็นส่วนตัว ข้อจำกัดในการเป็นเจ้าของข้อมูล หรือต้นทุนการสื่อสาร เช่น แป้นพิมพ์มือถือ การสร้างภาพทางการแพทย์ข้ามโรงพยาบาล หรือเครือข่ายเซ็นเซอร์ IoT ข้อสมมติฐานหลัก ได้แก่ ข้อมูลท้องถิ่นที่เพียงพอต่อไคลเอนต์ และงานที่ใช้ร่วมกันระหว่างผู้เข้าร่วมทั้งหมด เหมาะสมน้อยกว่าเมื่อการกระจายข้อมูลของไคลเอนต์มีความแตกต่างกันอย่างมาก (non-IID) แบนด์วิดท์การสื่อสารมีจำกัดอย่างมาก หรือเมื่อต้องการการรับประกันความเป็นส่วนตัวที่เป็นทางการที่แข็งแกร่งนอกเหนือจากการจำกัดตำแหน่งข้อมูล (พิจารณาการรวมกับความเป็นส่วนตัวเชิงอนุพันธ์ในกรณีนั้น)
ข้อจำกัดและข้อควรพิจารณา
- การลู่เข้าอาจช้าและไม่เสถียรเมื่อการกระจายข้อมูลของไคลเอนต์มีความแตกต่างกันอย่างมาก (non-IID)
- ค่าใช้จ่ายในการสื่อสารที่สูงตลอดหลายรอบอาจมีนัยสำคัญบนเครือข่ายแบนด์วิดท์ต่ำ
- การอัปเดตโมเดลยังคงสามารถรั่วไหลข้อมูลเกี่ยวกับข้อมูลท้องถิ่นผ่านการโจมตีแบบย้อนกลับความชัน (gradient inversion) หรือการอนุมานการเข้าถึง (membership inference attacks)
- ไคลเอนต์ที่ล่าช้า (stragglers) และไคลเอนต์ที่ถูกตัดออก (dropped clients) ทำให้การรวบรวมแบบซิงโครนัสซับซ้อนและอาจทำให้โมเดลส่วนกลางเกิดความเอนเอียง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- รักษาความเป็นส่วนตัวของข้อมูลโดยการออกแบบ: ข้อมูลดิบไม่เคยออกจากอุปกรณ์หรือสถาบันของไคลเอนต์
- ปรับขนาดได้ถึงอุปกรณ์ปลายทาง (edge devices) หลายล้านเครื่องที่มีความหลากหลาย โดยไม่ต้องรวมศูนย์การจัดเก็บข้อมูล
- ลดต้นทุนการถ่ายโอนข้อมูล เนื่องจากมีการสื่อสารเฉพาะการอัปเดตโมเดล ไม่ใช่ชุดข้อมูล
- เปิดใช้งานการเรียนรู้จากโดเมนที่ละเอียดอ่อน (การดูแลสุขภาพ การเงิน) ซึ่งการแบ่งปันข้อมูลถูกจำกัดทางกฎหมาย
การประยุกต์ใช้
- การทำนายคำถัดไปและการปรับแต่งแป้นพิมพ์บนอุปกรณ์เคลื่อนที่โดยไม่ต้องอัปโหลดข้อความผู้ใช้
- การฝึกโมเดลการสร้างภาพทางการแพทย์ข้ามโรงพยาบาลที่ไม่สามารถแบ่งปันบันทึกผู้ป่วยได้
- การตรวจจับการฉ้อโกงข้ามธนาคารที่แบ่งปันรูปแบบพฤติกรรม แต่ไม่ใช่ประวัติการทำธุรกรรม
- โมเดลการรับรู้ยานยนต์อัตโนมัติที่ฝึกอบรมข้ามกลุ่มยานพาหนะโดยไม่ต้องรวมศูนย์บันทึกเซ็นเซอร์
- การติดตามสุขภาพผ่านอุปกรณ์สวมใส่ที่เรียนรู้ค่าพื้นฐานส่วนบุคคลในขณะที่เก็บข้อมูลชีวมาตรไว้ในอุปกรณ์
วิธีการทำงาน
วิธีการทำงาน
ในตอนเริ่มต้นของแต่ละรอบการสื่อสาร เซิร์ฟเวอร์จะเลือกกลุ่มย่อยของไคลเอนต์ที่พร้อมใช้งานแบบสุ่ม และส่งน้ำหนักโมเดลส่วนกลางปัจจุบัน (current global model weights) ไปยังไคลเอนต์เหล่านั้น การกระจายข้อมูลนี้ทำให้มั่นใจได้ว่าไคลเอนต์ที่เข้าร่วมทั้งหมดจะเริ่มต้นการคำนวณในเครื่องจากจุดเริ่มต้นร่วมกัน ทำให้สามารถรวบรวมข้อมูลได้อย่างสอดคล้องกันในภายหลัง การเลือกเพียงกลุ่มย่อยแทนที่จะเลือกทั้งหมดทำให้แต่ละรอบสามารถจัดการได้ แม้ว่าจะมีอุปกรณ์ลงทะเบียนหลายพันเครื่อง
สูตร
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}ไคลเอนต์ที่เลือกแต่ละรายจะดำเนินการหนึ่งขั้นหรือมากกว่านั้นของการลดระดับความชันแบบสุ่ม (stochastic gradient descent) บนชุดข้อมูลท้องถิ่นส่วนตัวของตน โดยใช้น้ำหนักส่วนกลางที่ได้รับเป็นจุดเริ่มต้น ไคลเอนต์จะคำนวณความชันของฟังก์ชันการสูญเสียในเครื่อง (local loss function) และอัปเดตน้ำหนักตามนั้น มีเพียงน้ำหนักที่อัปเดตเหล่านี้เท่านั้น ไม่ใช่ความชันดิบหรือข้อมูลการฝึกอบรม ที่จะเตรียมพร้อมสำหรับการส่งกลับไปยังเซิร์ฟเวอร์
สูตร
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)เซิร์ฟเวอร์จะรวบรวมน้ำหนักที่อัปเดตจากไคลเอนต์ที่เข้าร่วมทั้งหมด และคำนวณค่าเฉลี่ยถ่วงน้ำหนัก โดยที่การมีส่วนร่วมของแต่ละไคลเอนต์จะเป็นสัดส่วนกับขนาดชุดข้อมูลท้องถิ่นของตนเมื่อเทียบกับข้อมูลทั้งหมดของผู้เข้าร่วมทั้งหมด ขั้นตอนการหาค่าเฉลี่ยแบบสหพันธ์ (Federated Averaging - FedAvg) นี้จะสร้างโมเดลส่วนกลางใหม่ที่รวมข้อมูลจากข้อมูลส่วนตัวของไคลเอนต์แต่ละราย โดยไม่มีข้อมูลดิบใดๆ ออกจากอุปกรณ์
สูตร
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^kโมเดลส่วนกลางที่รวบรวมได้จะถูกประเมินเทียบกับเกณฑ์การลู่เข้า (convergence criterion) โดยทั่วไปคือขอบเขตของการสูญเสียที่คาดหวัง (expected loss) เมื่อเทียบกับการสูญเสียที่เหมาะสมที่สุด หากเกณฑ์ยังไม่เป็นที่พอใจ เซิร์ฟเวอร์จะเพิ่มตัวนับรอบและกระจายโมเดลส่วนกลางที่อัปเดตไปยังกลุ่มย่อยของไคลเอนต์ใหม่ โดยทำซ้ำวงจรจนกว่าโมเดลจะลู่เข้า หรือจำนวนรอบสูงสุดที่กำหนดไว้จะถึง
สูตร
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilonข้อผิดพลาดที่พบบ่อย
- การสันนิษฐานว่าการฝึกอบรมแบบสหพันธ์เพียงอย่างเดียวเพียงพอต่อความเป็นส่วนตัว: หากไม่มีกลไกเพิ่มเติม เช่น ความเป็นส่วนตัวเชิงอนุพันธ์ (differential privacy) หรือการรวบรวมที่ปลอดภัย (secure aggregation) การอัปเดตโมเดลยังคงมีความเสี่ยง
- การละเลยความแตกต่างของข้อมูล: การใช้ FedAvg แบบมาตรฐานกับข้อมูล non-IID ที่แตกต่างกันอย่างมาก มักนำไปสู่การเคลื่อนของไคลเอนต์ (client drift) และประสิทธิภาพโมเดลส่วนกลางที่ต่ำ
- การมองข้ามไคลเอนต์ที่ประสงค์ร้าย (Byzantine or malicious clients): ไคลเอนต์ที่เป็นปฏิปักษ์จำนวนเล็กน้อยสามารถทำให้โมเดลที่รวบรวมเสียหายได้หากไม่มีการรวบรวมที่ทนทาน (robust aggregation)
- การปฏิบัติต่อรอบการสื่อสารราวกับว่าไม่มีค่าใช้จ่าย: ต้นทุนสะสมของหลายรอบผ่านการเชื่อมต่อที่ช้าอาจมีมากกว่าประโยชน์ของการกระจายศูนย์
คำถามที่พบบ่อย
สหพันธ์การเรียนรู้รับประกันความเป็นส่วนตัวที่สมบูรณ์หรือไม่?
โดยตัวมันเองไม่รับประกัน แม้ว่าข้อมูลดิบจะไม่เคยออกจากอุปกรณ์ของไคลเอนต์ แต่การอัปเดตโมเดล (gradients) ยังคงสามารถรั่วไหลข้อมูลผ่านการโจมตีแบบย้อนกลับความชันหรือการอนุมานการเข้าถึง การรวมสหพันธ์การเรียนรู้เข้ากับการเพิ่มสัญญาณรบกวนความเป็นส่วนตัวเชิงอนุพันธ์ (differential privacy noise addition) และโปรโตคอลการรวบรวมที่ปลอดภัย (secure aggregation protocols) ช่วยเสริมการรับประกันความเป็นส่วนตัวได้อย่างมาก แต่แต่ละชั้นจะเพิ่มการแลกเปลี่ยนด้านความแม่นยำหรือการสื่อสารของตนเอง
สหพันธ์การเรียนรู้จัดการกับข้อมูล non-IID ข้ามไคลเอนต์อย่างไร?
FedAvg มาตรฐานอาจลู่เข้าผิดทิศทางเมื่อการกระจายข้อมูลของไคลเอนต์แตกต่างกันอย่างมาก ซึ่งปรากฏการณ์นี้เรียกว่า client drift วิธีแก้ไข ได้แก่ การเพิ่มขนาดแบตช์ในเครื่อง (local batch sizes) การลดจำนวน epoch ในเครื่อง (local epochs) การใช้รูปแบบสหพันธ์การเรียนรู้เฉพาะบุคคล (เช่น FedProx หรือ SCAFFOLD) หรือการใช้โมเมนตัมฝั่งเซิร์ฟเวอร์ (server-side momentum) ความรุนแรงขึ้นอยู่กับระดับความแตกต่างทางสถิติระหว่างไคลเอนต์
โดยทั่วไปแล้วต้องใช้ไคลเอนต์และรอบการทำงานกี่รอบจึงจะลู่เข้า?
McMahan และคณะแสดงให้เห็นว่า แม้จะมีไคลเอนต์เพียงส่วนเล็กๆ ที่ถูกสุ่มในแต่ละรอบ (เช่น 10 จาก 100) FedAvg ก็ลู่เข้าภายในหลายสิบถึงหลายร้อยรอบสำหรับงานมาตรฐาน ในทางปฏิบัติ จำนวนรอบขึ้นอยู่กับขนาดชุดข้อมูลต่อไคลเอนต์ ระดับของ non-IID-ness อัตราการเรียนรู้ และจำนวนขั้นตอนการไล่ระดับสีในเครื่อง (local gradient steps) ที่ดำเนินการก่อนการรวบรวมแต่ละครั้ง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.
เปิดเอกสารอ้างอิงสิ่งพิมพ์คัดลอกแล้ว