Skip to content
กลับไปยังผลการค้นหา

สหพันธ์การเรียนรู้

ผู้เสนอ
McMahan et al.
ปี
2017
ประเภท
Distributed privacy-preserving machine learning
กลุ่มวิธี
Privacy-preserving analysis

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

สหพันธ์การเรียนรู้ (Federated Learning) เป็นกระบวนทัศน์การเรียนรู้ของเครื่องแบบกระจายศูนย์ที่นำเสนอโดย McMahan และคณะในปี 2017 ซึ่งมีการฝึกโมเดลส่วนกลาง (global model) ร่วมกันในหลายไคลเอนต์แบบกระจายศูนย์ (decentralized clients) เช่น อุปกรณ์เคลื่อนที่หรือระบบโรงพยาบาล โดยไม่ต้องถ่ายโอนข้อมูลดิบไปยังเซิร์ฟเวอร์ส่วนกลาง แต่ละส่วนจะคำนวณการอัปเดตโมเดลในเครื่องโดยใช้ข้อมูลส่วนตัวของตนเอง และมีเพียงการอัปเดตเหล่านั้นเท่านั้นที่ไม่ใช่ข้อมูลพื้นฐานที่จะถูกสื่อสารและรวบรวมโดยเซิร์ฟเวอร์เพื่อปรับปรุงโมเดลที่ใช้ร่วมกัน

แนวคิดเบื้องหลังวิธีการ

ลองจินตนาการถึงกลุ่มนักวิจัยในโรงพยาบาลต่างๆ ที่แต่ละแห่งศึกษาบันทึกผู้ป่วยซึ่งพวกเขาไม่สามารถแบ่งปันได้เนื่องจากกฎหมายความเป็นส่วนตัว แทนที่จะรวบรวมบันทึกไว้ในฐานข้อมูลเดียว โรงพยาบาลแต่ละแห่งจะฝึกโมเดลเวอร์ชันท้องถิ่นบนผู้ป่วยของตนเอง จากนั้นจึงส่งเฉพาะสรุปสิ่งที่ได้เรียนรู้ ไม่ใช่บันทึกเอง ไปยังผู้ประสานงาน ซึ่งจะผสมผสานสรุปทั้งหมดเข้าเป็นโมเดลที่ปรับปรุงแล้วเพียงโมเดลเดียว ข้อมูลผู้ป่วยไม่เคยออกจากสถาบันต้นทาง แต่ความรู้โดยรวมของทุกโรงพยาบาลจะถูกรวบรวมไว้

ประวัติศาสตร์

คำศัพท์และกรอบงานนี้ถูกนำเสนอโดย McMahan และคณะที่ Google ในปี 2017 โดยมีแรงจูงใจจากความต้องการฝึกโมเดลภาษาบนอุปกรณ์เคลื่อนที่โดยไม่ต้องอัปโหลดข้อความที่ละเอียดอ่อน อัลกอริทึม FedAvg พื้นฐานแสดงให้เห็นว่าการหาค่าเฉลี่ยน้ำหนักที่ฝึกในเครื่องมีประสิทธิภาพในการสื่อสารและสามารถแข่งขันกับการฝึกแบบรวมศูนย์ได้ การวิจัยต่อมาได้ขยายสหพันธ์การเรียนรู้เพื่อจัดการกับข้อมูล non-IID เพิ่มการรับประกันความเป็นส่วนตัวเชิงอนุพันธ์อย่างเป็นทางการ รวมการคำนวณแบบหลายฝ่ายที่ปลอดภัย (secure multi-party computation) สำหรับการรวบรวม และนำกระบวนทัศน์ไปใช้กับการตั้งค่าแบบข้ามไซโล (cross-silo) เช่น เครือข่ายโรงพยาบาล

ควรใช้เมื่อใด

ใช้สหพันธ์การเรียนรู้เมื่อข้อมูลการฝึกอบรมกระจายอยู่ในหลายไคลเอนต์และไม่สามารถรวมศูนย์ได้เนื่องจากกฎระเบียบด้านความเป็นส่วนตัว ข้อจำกัดในการเป็นเจ้าของข้อมูล หรือต้นทุนการสื่อสาร เช่น แป้นพิมพ์มือถือ การสร้างภาพทางการแพทย์ข้ามโรงพยาบาล หรือเครือข่ายเซ็นเซอร์ IoT ข้อสมมติฐานหลัก ได้แก่ ข้อมูลท้องถิ่นที่เพียงพอต่อไคลเอนต์ และงานที่ใช้ร่วมกันระหว่างผู้เข้าร่วมทั้งหมด เหมาะสมน้อยกว่าเมื่อการกระจายข้อมูลของไคลเอนต์มีความแตกต่างกันอย่างมาก (non-IID) แบนด์วิดท์การสื่อสารมีจำกัดอย่างมาก หรือเมื่อต้องการการรับประกันความเป็นส่วนตัวที่เป็นทางการที่แข็งแกร่งนอกเหนือจากการจำกัดตำแหน่งข้อมูล (พิจารณาการรวมกับความเป็นส่วนตัวเชิงอนุพันธ์ในกรณีนั้น)

ข้อจำกัดและข้อควรพิจารณา

  • การลู่เข้าอาจช้าและไม่เสถียรเมื่อการกระจายข้อมูลของไคลเอนต์มีความแตกต่างกันอย่างมาก (non-IID)
  • ค่าใช้จ่ายในการสื่อสารที่สูงตลอดหลายรอบอาจมีนัยสำคัญบนเครือข่ายแบนด์วิดท์ต่ำ
  • การอัปเดตโมเดลยังคงสามารถรั่วไหลข้อมูลเกี่ยวกับข้อมูลท้องถิ่นผ่านการโจมตีแบบย้อนกลับความชัน (gradient inversion) หรือการอนุมานการเข้าถึง (membership inference attacks)
  • ไคลเอนต์ที่ล่าช้า (stragglers) และไคลเอนต์ที่ถูกตัดออก (dropped clients) ทำให้การรวบรวมแบบซิงโครนัสซับซ้อนและอาจทำให้โมเดลส่วนกลางเกิดความเอนเอียง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • รักษาความเป็นส่วนตัวของข้อมูลโดยการออกแบบ: ข้อมูลดิบไม่เคยออกจากอุปกรณ์หรือสถาบันของไคลเอนต์
  • ปรับขนาดได้ถึงอุปกรณ์ปลายทาง (edge devices) หลายล้านเครื่องที่มีความหลากหลาย โดยไม่ต้องรวมศูนย์การจัดเก็บข้อมูล
  • ลดต้นทุนการถ่ายโอนข้อมูล เนื่องจากมีการสื่อสารเฉพาะการอัปเดตโมเดล ไม่ใช่ชุดข้อมูล
  • เปิดใช้งานการเรียนรู้จากโดเมนที่ละเอียดอ่อน (การดูแลสุขภาพ การเงิน) ซึ่งการแบ่งปันข้อมูลถูกจำกัดทางกฎหมาย

การประยุกต์ใช้

  • การทำนายคำถัดไปและการปรับแต่งแป้นพิมพ์บนอุปกรณ์เคลื่อนที่โดยไม่ต้องอัปโหลดข้อความผู้ใช้
  • การฝึกโมเดลการสร้างภาพทางการแพทย์ข้ามโรงพยาบาลที่ไม่สามารถแบ่งปันบันทึกผู้ป่วยได้
  • การตรวจจับการฉ้อโกงข้ามธนาคารที่แบ่งปันรูปแบบพฤติกรรม แต่ไม่ใช่ประวัติการทำธุรกรรม
  • โมเดลการรับรู้ยานยนต์อัตโนมัติที่ฝึกอบรมข้ามกลุ่มยานพาหนะโดยไม่ต้องรวมศูนย์บันทึกเซ็นเซอร์
  • การติดตามสุขภาพผ่านอุปกรณ์สวมใส่ที่เรียนรู้ค่าพื้นฐานส่วนบุคคลในขณะที่เก็บข้อมูลชีวมาตรไว้ในอุปกรณ์

วิธีการทำงาน

วิธีการทำงาน

1

ในตอนเริ่มต้นของแต่ละรอบการสื่อสาร เซิร์ฟเวอร์จะเลือกกลุ่มย่อยของไคลเอนต์ที่พร้อมใช้งานแบบสุ่ม และส่งน้ำหนักโมเดลส่วนกลางปัจจุบัน (current global model weights) ไปยังไคลเอนต์เหล่านั้น การกระจายข้อมูลนี้ทำให้มั่นใจได้ว่าไคลเอนต์ที่เข้าร่วมทั้งหมดจะเริ่มต้นการคำนวณในเครื่องจากจุดเริ่มต้นร่วมกัน ทำให้สามารถรวบรวมข้อมูลได้อย่างสอดคล้องกันในภายหลัง การเลือกเพียงกลุ่มย่อยแทนที่จะเลือกทั้งหมดทำให้แต่ละรอบสามารถจัดการได้ แม้ว่าจะมีอุปกรณ์ลงทะเบียนหลายพันเครื่อง

สูตร
w_t \rightarrow \text{subset } S_t \subset \{1,\ldots,N\}
2

ไคลเอนต์ที่เลือกแต่ละรายจะดำเนินการหนึ่งขั้นหรือมากกว่านั้นของการลดระดับความชันแบบสุ่ม (stochastic gradient descent) บนชุดข้อมูลท้องถิ่นส่วนตัวของตน โดยใช้น้ำหนักส่วนกลางที่ได้รับเป็นจุดเริ่มต้น ไคลเอนต์จะคำนวณความชันของฟังก์ชันการสูญเสียในเครื่อง (local loss function) และอัปเดตน้ำหนักตามนั้น มีเพียงน้ำหนักที่อัปเดตเหล่านี้เท่านั้น ไม่ใช่ความชันดิบหรือข้อมูลการฝึกอบรม ที่จะเตรียมพร้อมสำหรับการส่งกลับไปยังเซิร์ฟเวอร์

สูตร
w_{t+1}^k = w_t - \eta \nabla \mathcal{L}_k(w_t)
3

เซิร์ฟเวอร์จะรวบรวมน้ำหนักที่อัปเดตจากไคลเอนต์ที่เข้าร่วมทั้งหมด และคำนวณค่าเฉลี่ยถ่วงน้ำหนัก โดยที่การมีส่วนร่วมของแต่ละไคลเอนต์จะเป็นสัดส่วนกับขนาดชุดข้อมูลท้องถิ่นของตนเมื่อเทียบกับข้อมูลทั้งหมดของผู้เข้าร่วมทั้งหมด ขั้นตอนการหาค่าเฉลี่ยแบบสหพันธ์ (Federated Averaging - FedAvg) นี้จะสร้างโมเดลส่วนกลางใหม่ที่รวมข้อมูลจากข้อมูลส่วนตัวของไคลเอนต์แต่ละราย โดยไม่มีข้อมูลดิบใดๆ ออกจากอุปกรณ์

สูตร
w_{t+1} = \sum_{k \in S_t} \frac{n_k}{n} w_{t+1}^k
4

โมเดลส่วนกลางที่รวบรวมได้จะถูกประเมินเทียบกับเกณฑ์การลู่เข้า (convergence criterion) โดยทั่วไปคือขอบเขตของการสูญเสียที่คาดหวัง (expected loss) เมื่อเทียบกับการสูญเสียที่เหมาะสมที่สุด หากเกณฑ์ยังไม่เป็นที่พอใจ เซิร์ฟเวอร์จะเพิ่มตัวนับรอบและกระจายโมเดลส่วนกลางที่อัปเดตไปยังกลุ่มย่อยของไคลเอนต์ใหม่ โดยทำซ้ำวงจรจนกว่าโมเดลจะลู่เข้า หรือจำนวนรอบสูงสุดที่กำหนดไว้จะถึง

สูตร
\mathbb{E}[\mathcal{L}(w_T)] \leq \mathcal{L}^* + \epsilon

ข้อผิดพลาดที่พบบ่อย

  • การสันนิษฐานว่าการฝึกอบรมแบบสหพันธ์เพียงอย่างเดียวเพียงพอต่อความเป็นส่วนตัว: หากไม่มีกลไกเพิ่มเติม เช่น ความเป็นส่วนตัวเชิงอนุพันธ์ (differential privacy) หรือการรวบรวมที่ปลอดภัย (secure aggregation) การอัปเดตโมเดลยังคงมีความเสี่ยง
  • การละเลยความแตกต่างของข้อมูล: การใช้ FedAvg แบบมาตรฐานกับข้อมูล non-IID ที่แตกต่างกันอย่างมาก มักนำไปสู่การเคลื่อนของไคลเอนต์ (client drift) และประสิทธิภาพโมเดลส่วนกลางที่ต่ำ
  • การมองข้ามไคลเอนต์ที่ประสงค์ร้าย (Byzantine or malicious clients): ไคลเอนต์ที่เป็นปฏิปักษ์จำนวนเล็กน้อยสามารถทำให้โมเดลที่รวบรวมเสียหายได้หากไม่มีการรวบรวมที่ทนทาน (robust aggregation)
  • การปฏิบัติต่อรอบการสื่อสารราวกับว่าไม่มีค่าใช้จ่าย: ต้นทุนสะสมของหลายรอบผ่านการเชื่อมต่อที่ช้าอาจมีมากกว่าประโยชน์ของการกระจายศูนย์

คำถามที่พบบ่อย

สหพันธ์การเรียนรู้รับประกันความเป็นส่วนตัวที่สมบูรณ์หรือไม่?

โดยตัวมันเองไม่รับประกัน แม้ว่าข้อมูลดิบจะไม่เคยออกจากอุปกรณ์ของไคลเอนต์ แต่การอัปเดตโมเดล (gradients) ยังคงสามารถรั่วไหลข้อมูลผ่านการโจมตีแบบย้อนกลับความชันหรือการอนุมานการเข้าถึง การรวมสหพันธ์การเรียนรู้เข้ากับการเพิ่มสัญญาณรบกวนความเป็นส่วนตัวเชิงอนุพันธ์ (differential privacy noise addition) และโปรโตคอลการรวบรวมที่ปลอดภัย (secure aggregation protocols) ช่วยเสริมการรับประกันความเป็นส่วนตัวได้อย่างมาก แต่แต่ละชั้นจะเพิ่มการแลกเปลี่ยนด้านความแม่นยำหรือการสื่อสารของตนเอง

สหพันธ์การเรียนรู้จัดการกับข้อมูล non-IID ข้ามไคลเอนต์อย่างไร?

FedAvg มาตรฐานอาจลู่เข้าผิดทิศทางเมื่อการกระจายข้อมูลของไคลเอนต์แตกต่างกันอย่างมาก ซึ่งปรากฏการณ์นี้เรียกว่า client drift วิธีแก้ไข ได้แก่ การเพิ่มขนาดแบตช์ในเครื่อง (local batch sizes) การลดจำนวน epoch ในเครื่อง (local epochs) การใช้รูปแบบสหพันธ์การเรียนรู้เฉพาะบุคคล (เช่น FedProx หรือ SCAFFOLD) หรือการใช้โมเมนตัมฝั่งเซิร์ฟเวอร์ (server-side momentum) ความรุนแรงขึ้นอยู่กับระดับความแตกต่างทางสถิติระหว่างไคลเอนต์

โดยทั่วไปแล้วต้องใช้ไคลเอนต์และรอบการทำงานกี่รอบจึงจะลู่เข้า?

McMahan และคณะแสดงให้เห็นว่า แม้จะมีไคลเอนต์เพียงส่วนเล็กๆ ที่ถูกสุ่มในแต่ละรอบ (เช่น 10 จาก 100) FedAvg ก็ลู่เข้าภายในหลายสิบถึงหลายร้อยรอบสำหรับงานมาตรฐาน ในทางปฏิบัติ จำนวนรอบขึ้นอยู่กับขนาดชุดข้อมูลต่อไคลเอนต์ ระดับของ non-IID-ness อัตราการเรียนรู้ และจำนวนขั้นตอนการไล่ระดับสีในเครื่อง (local gradient steps) ที่ดำเนินการก่อนการรวบรวมแต่ละครั้ง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. McMahan, B., Moore, E., Ramage, D., Hampson, S., & Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Artificial Intelligence and Statistics, 1273–1282.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว