ความเป็นส่วนตัวเชิงอนุพันธ์
- ผู้เสนอ
- Cynthia Dwork
- ปี
- 2006
- ประเภท
- Privacy-preserving randomized mechanism
- กลุ่มวิธี
- Privacy-preserving analysis
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
ความเป็นส่วนตัวเชิงอนุพันธ์ (Differential Privacy) เป็นกรอบการทำงานทางคณิตศาสตร์สำหรับการเผยแพร่ข้อมูลทางสถิติเกี่ยวกับชุดข้อมูล ในขณะที่ให้การรับประกันที่เข้มงวดว่าบันทึกส่วนบุคคลจะไม่สามารถถูกระบุหรืออนุมานได้ ซินเธีย ดวอร์ก (Cynthia Dwork) ได้นำเสนอแนวคิดนี้ในปี 2006 โดยกำหนดความเป็นส่วนตัวอย่างเป็นทางการในรูปของขอบเขตความน่าจะเป็น: การมีอยู่หรือไม่มีอยู่ของบุคคลใดบุคคลหนึ่งในชุดข้อมูลจะเปลี่ยนแปลงการกระจายผลลัพธ์ไม่เกินปัจจัยการคูณของ e^ε โดยที่ ε คืองบประมาณความเป็นส่วนตัวที่ควบคุมการแลกเปลี่ยนระหว่างความเป็นส่วนตัวและอรรถประโยชน์
แนวคิดเบื้องหลังวิธีการ
ลองจินตนาการถึงการสำรวจที่ผู้ตอบแบบสอบถามแต่ละคนโยนเหรียญก่อน: ถ้าออกหัวหมายถึงตอบตามความจริง ถ้าออกก้อยหมายถึงตอบแบบสุ่ม สถิติโดยรวมยังคงมีความหมายเพราะคำตอบแบบสุ่มจะหักล้างกันโดยรวม แต่คำตอบของแต่ละบุคคลไม่สามารถระบุได้ ความเป็นส่วนตัวเชิงอนุพันธ์ได้ขยายแนวคิดนี้ออกไป โดยการฉีดสัญญาณรบกวนที่ปรับเทียบอย่างระมัดระวังลงในผลลัพธ์การสอบถาม เพื่อให้ผลลัพธ์ดูเกือบจะเหมือนกันไม่ว่าข้อมูลของบุคคลใดบุคคลหนึ่งจะรวมอยู่ด้วยหรือไม่ ทำให้การอนุมานการเป็นสมาชิกเป็นไปไม่ได้โดยพื้นฐาน
ประวัติศาสตร์
ซินเธีย ดวอร์ก (Cynthia Dwork), แฟรงก์ แมคเชอร์รี (Frank McSherry), คอบบี นิสซิม (Kobbi Nissim) และอดัม สมิธ (Adam Smith) ได้นำเสนอความเป็นส่วนตัวเชิงอนุพันธ์ที่ ICALP 2006 และ TCC 2006 โดยมีแรงจูงใจจากการโจมตีที่เอาชนะคำจำกัดความความเป็นส่วนตัวก่อนหน้านี้ เช่น k-anonymity การกำหนดของดวอร์กให้คำจำกัดความความเป็นส่วนตัวที่สามารถประกอบกันได้และไม่ขึ้นกับคู่ต่อสู้เป็นครั้งแรก ในทศวรรษต่อมา กรอบการทำงานนี้ได้รับการขยายด้วย DP โดยประมาณ (ε, δ), Rényi differential privacy และ DP-SGD สำหรับการเรียนรู้เชิงลึก บริษัทเทคโนโลยีขนาดใหญ่ได้นำ DP มาใช้ในระบบการผลิตสำหรับสถิติรวมและการฝึกอบรมแบบจำลองในช่วงปี 2010
ควรใช้เมื่อใด
ความเป็นส่วนตัวเชิงอนุพันธ์เหมาะสมเมื่อเผยแพร่สถิติหรือฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องบนข้อมูลส่วนบุคคลที่ละเอียดอ่อน เช่น บันทึกสุขภาพ ตำแหน่งที่ตั้ง หรือธุรกรรมทางการเงิน ซึ่งจำเป็นต้องมีการรับประกันความเป็นส่วนตัวที่เป็นทางการและตรวจสอบได้ โดยสมมติว่านักวิเคราะห์สามารถจำกัดความไวของการสอบถามและยอมรับการสูญเสียความแม่นยำบางส่วนจากสัญญาณรบกวนได้ ไม่เหมาะสมเมื่อต้องการผลลัพธ์ระดับบุคคลที่เกือบจะแม่นยำ เมื่อ ε ต้องมีค่าน้อยมากและชุดข้อมูลมีขนาดเล็ก หรือเมื่อการเผยแพร่ข้อมูลแบบไม่โต้ตอบไม่จำเป็น ทางเลือกอื่น ได้แก่ k-anonymity (การรับประกันที่อ่อนแอลง) และการคำนวณแบบหลายฝ่ายที่ปลอดภัย (เมื่อข้อมูลต้องคงอยู่แบบกระจาย)
ข้อจำกัดและข้อควรพิจารณา
- เพิ่มสัญญาณรบกวนให้กับผลลัพธ์การสอบถาม ซึ่งลดความแม่นยำทางสถิติ — การแลกเปลี่ยนจะรุนแรงขึ้นสำหรับการสอบถามที่มีความไวสูงหรือชุดข้อมูลขนาดเล็ก
- งบประมาณความเป็นส่วนตัว ε ขาดมาตราส่วนสัมบูรณ์ที่เข้าใจง่าย การเลือกค่า ε ที่มีความหมายต้องใช้ความเชี่ยวชาญเฉพาะด้านและการปรับเทียบเชิงประจักษ์
- การประกอบแบบง่ายๆ ทำให้ความเป็นส่วนตัวลดลงอย่างรวดเร็วเมื่อมีการสอบถามจำนวนมาก; จำเป็นต้องมีผู้ดูแลบัญชีขั้นสูง (Rényi DP, moments accountant) สำหรับงาน ML
- ไม่ป้องกันความเสียหายด้านความเป็นส่วนตัวทั้งหมด: คุณลักษณะที่สัมพันธ์กันหรือแหล่งข้อมูลเสริมอาจยังคงอนุญาตให้มีการอนุมานได้แม้ภายใต้ DP
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ให้การรับประกันความเป็นส่วนตัวที่แย่ที่สุดที่เข้มงวดและพิสูจน์ได้ทางคณิตศาสตร์ โดยไม่ขึ้นกับความรู้พื้นฐานของผู้โจมตี
- สามารถประกอบกันได้: ทฤษฎีการประกอบแบบลำดับและแบบขนานช่วยให้สามารถบันทึกงบประมาณความเป็นส่วนตัวในกระบวนการวิเคราะห์ที่ซับซ้อนได้
- ไม่ได้รับผลกระทบจากการประมวลผลภายหลัง: ฟังก์ชันใดๆ ที่ใช้กับผลลัพธ์ที่เป็นส่วนตัวเชิงอนุพันธ์ยังคงเป็นส่วนตัวเชิงอนุพันธ์
- สามารถใช้ได้กับการตอบคำถามแบบโต้ตอบและการเรียนรู้ของเครื่องแบบไม่โต้ตอบ (เช่น DP-SGD สำหรับโครงข่ายประสาทเทียม)
การประยุกต์ใช้
- การฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องที่เป็นส่วนตัวเชิงอนุพันธ์โดยใช้ DP-SGD (เช่น ตัวจำแนกโครงข่ายประสาทเทียมบนข้อมูลสุขภาพหรือข้อมูลทางการเงินที่ละเอียดอ่อน)
- การเผยแพร่ข้อมูลไมโครสำมะโนและสถิติรวมพร้อมการรับประกันความเป็นส่วนตัวอย่างเป็นทางการสำหรับหน่วยงานสถิติแห่งชาติ
- การรวบรวมข้อมูลทางไกลและสถิติการใช้งานจากอุปกรณ์ของผู้ใช้โดยไม่เปิดเผยรูปแบบพฤติกรรมส่วนบุคคล
- การเผยแพร่ชุดข้อมูลสังเคราะห์ที่มีลักษณะทางสถิติคล้ายกับต้นฉบับที่ละเอียดอ่อน ในขณะที่ยังคงเป็นไปตามขอบเขต DP อย่างเป็นทางการ
- ระบบการเรียนรู้แบบรวมศูนย์ (Federated learning systems) ที่การอัปเดตแบบจำลองในท้องถิ่นจะถูกทำให้เป็นส่วนตัวก่อนที่จะรวมกันในไคลเอนต์แบบกระจาย
วิธีการทำงาน
วิธีการทำงาน
ก่อนที่จะเพิ่มสัญญาณรบกวน นักวิเคราะห์จะคำนวณความไวโดยรวม (global sensitivity) ของฟังก์ชันการสอบถาม f ซึ่งเป็นการเปลี่ยนแปลงสูงสุดในผลลัพธ์ของ f ที่อาจเกิดจากการเพิ่มหรือลบบันทึกของบุคคลเดียว การสอบถามที่มีความไวสูง (เช่น การคำนวณผลรวมในโดเมนที่ไม่มีขอบเขต) ต้องใช้สัญญาณรบกวนมากขึ้น; การสอบถามที่มีความไวต่ำ (เช่น การนับที่มีส่วนร่วมที่จำกัด) ต้องใช้น้อยลง ซึ่งควบคุมการแลกเปลี่ยนระหว่างความแม่นยำและความเป็นส่วนตัวโดยตรง
สูตร
\Delta f = \max_{D, D': \|D - D'\|_1 = 1} \|f(D) - f(D')\|_1มีการสร้างการกระจายแบบลาปลาซ (Laplace distribution) ที่มีพารามิเตอร์มาตราส่วน b = Δf / ε งบประมาณความเป็นส่วนตัว ε (เอปไซลอน) ควบคุมปริมาณสัญญาณรบกวนที่ถูกฉีดเข้าไป: ε ที่น้อยหมายถึงความเป็นส่วนตัวที่แข็งแกร่งแต่มีสัญญาณรบกวนมากและความแม่นยำลดลง ในขณะที่ ε ที่มากหมายถึงสัญญาณรบกวนน้อยลงแต่มีการรับประกันความเป็นส่วนตัวที่อ่อนแอลง กลไกแบบลาปลาซเหมาะสมที่สุดสำหรับการสอบถามที่มีความไว L1 ที่มีขอบเขต; กลไกแบบเกาส์เซียน (Gaussian mechanism) เป็นที่นิยมเมื่อความไว L2 เป็นธรรมชาติมากกว่า
สูตร
\text{Lap}(x \mid \mu, b) = \frac{1}{2b} \exp\!\left(-\frac{|x - \mu|}{b}\right), \quad b = \frac{\Delta f}{\varepsilon}การตอบสนองที่เป็นส่วนตัวเชิงอนุพันธ์ได้มาจากการประเมินการสอบถามจริง f(D) บนชุดข้อมูล D แล้วเพิ่มการสุ่มอิสระจากการกระจายแบบลาปลาซ (หรือเกาส์เซียน) ที่ปรับเทียบแล้ว ผลลัพธ์ที่มีสัญญาณรบกวนนี้จะถูกเผยแพร่ต่อสาธารณะ เนื่องจากสัญญาณรบกวนถูกสุ่มอย่างอิสระสำหรับการสอบถามแต่ละครั้ง การรวมกลไกความเป็นส่วนตัวเชิงอนุพันธ์หลายอย่างจะใช้งบประมาณความเป็นส่วนตัวแบบเพิ่มขึ้น ซึ่งต้องมีการบันทึกอย่างระมัดระวังตลอดกระบวนการวิเคราะห์
สูตร
\mathcal{M}(D) = f(D) + \text{Lap}\!\left(0, \frac{\Delta f}{\varepsilon}\right)การรับประกันหลักระบุว่าสำหรับชุดข้อมูลเพื่อนบ้านสองชุด D และ D' ที่แตกต่างกันเพียงหนึ่งบันทึก และสำหรับชุดย่อยผลลัพธ์ S ใดๆ อัตราส่วนความน่าจะเป็นของผลลัพธ์ของกลไกที่อยู่ใน S จะถูกจำกัดด้วย e^ε ขอบเขตนี้ใช้ได้โดยไม่คำนึงถึงความรู้พื้นฐานของคู่ต่อสู้ ซึ่งให้การรับประกันความเป็นส่วนตัวที่แย่ที่สุดและมีความหมายทางความหมายที่สามารถประกอบกันได้ ขยายความเป็นส่วนตัวของกลุ่มได้ และไม่ได้รับผลกระทบจากการโจมตีหลังการประมวลผล
สูตร
\Pr[\mathcal{M}(D) \in S] \leq e^{\varepsilon} \cdot \Pr[\mathcal{M}(D') \in S] \quad \forall S \subseteq \text{Range}(\mathcal{M})ข้อผิดพลาดที่พบบ่อย
- การตั้งค่า ε สูงเกินไป (เช่น ε > 10) ให้ความเป็นส่วนตัวในทางปฏิบัติที่น้อยมากแม้จะมีป้ายกำกับ DP อย่างเป็นทางการ — ควรตีความ ε ในบริบทเสมอ
- การละเลยความไม่จำกัดของความไว: การสอบถามในโดเมนที่ไม่มีขอบเขต (ผลรวมดิบที่ไม่มีการตัด) ทำให้เกิดความไวที่ไม่มีที่สิ้นสุดและทำให้กลไกเสียหาย
- การถือว่า DP เป็นโซลูชันความเป็นส่วนตัวที่สมบูรณ์: มันจำกัดความเสี่ยงในการเปิดเผยข้อมูลส่วนบุคคล แต่ไม่ป้องกันการอนุมานระดับกลุ่มหรือแบบรวม
- การไม่คำนึงถึงการประกอบตลอดทั้งกระบวนการข้อมูล; การสอบถามแต่ละครั้งหรือขั้นตอนการฝึกอบรมแบบจำลองจะใช้งบประมาณและต้องมีการติดตาม
คำถามที่พบบ่อย
ค่าที่ดีสำหรับงบประมาณความเป็นส่วนตัว ε คืออะไร?
ไม่มีคำตอบที่เป็นสากล ในวรรณกรรมทางวิชาการ ε ≤ 1 ถือว่าเป็นความเป็นส่วนตัวที่แข็งแกร่ง, ε ในช่วง [1, 10] ปานกลาง, และ ε > 10 อ่อนแอ ในทางปฏิบัติ ε ที่เหมาะสมขึ้นอยู่กับขนาดของชุดข้อมูล ความไวของข้อมูล และจำนวนการสอบถามที่ประกอบกัน การใช้งานจริงบางอย่างใช้ค่า ε ในช่วงเลขหลักเดียวต่ำๆ หลังจากการประเมินเชิงประจักษ์อย่างรอบคอบเกี่ยวกับความแม่นยำและความเสี่ยงในการเปิดเผยข้อมูลที่เกิดขึ้น
ความเป็นส่วนตัวเชิงอนุพันธ์แตกต่างจาก k-anonymity อย่างไร?
K-anonymity เป็นคุณสมบัติทางวากยสัมพันธ์ของชุดข้อมูลที่เผยแพร่ — บันทึกแต่ละรายการไม่สามารถแยกแยะได้จากอย่างน้อย k-1 รายการอื่นบนตัวระบุเสมือน ความเป็นส่วนตัวเชิงอนุพันธ์เป็นการรับประกันเชิงความหมายและเชิงความน่าจะเป็นบนกลไกที่สร้างผลลัพธ์ DP แข็งแกร่งกว่าอย่างเคร่งครัด: สามารถประกอบกันได้ ไม่มีการสมมติเกี่ยวกับความรู้พื้นฐานของผู้โจมตี และได้รับการพิสูจน์แล้วว่าทนทานต่อการโจมตีแบบเชื่อมโยงที่เอาชนะ k-anonymity ได้เป็นประจำ
ความเป็นส่วนตัวเชิงอนุพันธ์สามารถนำไปใช้กับแบบจำลองการเรียนรู้เชิงลึกได้หรือไม่?
ได้ อัลกอริทึม DP-SGD ซึ่งกำหนดโดย Abadi et al. (2016) โดยสร้างจากกรอบการทำงานของ Dwork จะตัดเกรเดียนต์ต่อตัวอย่างเพื่อจำกัดความไว แล้วเพิ่มสัญญาณรบกวนแบบเกาส์เซียนก่อนการอัปเดตเกรเดียนต์แต่ละครั้ง ผู้ดูแลบัญชีโมเมนต์ (moments accountant) หรือ Rényi DP accountant จะติดตามการสูญเสียความเป็นส่วนตัวตลอดขั้นตอนการฝึกอบรม ทำให้สามารถฝึกอบรมโครงข่ายประสาทเทียมที่เป็นส่วนตัวเชิงอนุพันธ์พร้อมการรับประกัน (ε, δ)-DP ที่พิสูจน์ได้บนแบบจำลองสุดท้าย
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Dwork, C. (2006). Differential privacy. International Colloquium on Automata, Languages and Programming (ICALP), 1–12.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว