İfşa Denetimi için Sentetik Veri Üretimi
- Ortaya koyan
- Donald Rubin
- Yıl
- 1993
- Tür
- Privacy-preserving data synthesis
- Aile
- Privacy-preserving analysis
Bu metin makine çevirisidir ve henüz incelenmedi. Asıl metni İngilizce oku
Ne işe yarar?
Donald Rubin tarafından 1993 yılında tanıtılan istatistiksel ifşa sınırlama tekniği olan sentetik veri üretimi, gizli bir veri kümesindeki değerlerin doğrudan yayımlanmak yerine, uyumlu bir sonsal öngörüsel dağılımdan çekilen örneklerle değiştirildiği bir tekniktir.
Ortaya çıkan yapay kayıtlar, gerçek bireylerin tanımlanmasını önlerken orijinal verinin ortak istatistiksel yapısını korur ve analistlerin çoğu çıkarım amacı için orijinaline benzeyen, kamuya açık bir veri kümesiyle çalışmasını sağlar.
Yöntemin mantığı
Bir heykeltıraşın, paha biçilmez orijinal bir heykeli size ödünç vermek yerine, aynı kalıptan dökülmüş kusursuz bir alçı kopyayı size verdiğini hayal edin. Orijinaline zarar verme riski olmadan her boyutu ölçebilir, ağırlık dağılımını test edebilir ve oranlarını inceleyebilirsiniz. Sentetik veri de aynı şekilde çalışır: model gerçek verinin 'şeklini' öğrenir ve o şekli paylaşan yapay kayıtlar üretir, böylece araştırmacılar analitik açıdan yararlı malzeme elde ederken kayıtların arkasındaki gerçek insanlar gizli kalır.
Tarih
Donald Rubin, 1970'ler-1980'ler boyunca eksik veriler için geliştirdiği çoklu atama çerçevesini uyarlayarak, 1993 tarihli bir tartışma makalesinde sentetik veri üretimini önerdi. Roderick Little, kısa süre sonra kuramı detaylandırarak tamamen sentetik ve kısmen sentetik yaklaşımları ayırt etti. 2000'lerde ABD Nüfus Sayımı Bürosu, birkaç anket için kamu kullanımına açık sentetikına açık dosyaları denedi. 2014'ten sonra üretici çekişmeli ağların ve varyasyonel otomatik kodlayıcıların yükselişi, karmaşık tablo ve boylamsal veriler için derin öğrenme sentezleyicilerini pratik hale getirerek araç setini önemli ölçüde genişletti.
Ne zaman kullanılır?
Veri kümesi, yasal veya etik olarak orijinal biçiminde paylaşılamayacak hassas kişisel veya ticari olarak gizli bilgiler içerdiğinde, ancak verinin bir sürümünün yayımlanması araştırma veya politika analizi için yararlı olduğunda sentetik veri üretimini kullanın. Analitik yararı yok edecek basit maskeleme tekniklerinin kullanıldığı büyük, karmaşık mikro veri dosyaları için çok uygundur. Temel varsayımlar, sentez modelinin ilgili ortak dağılımı yakaladığı ve amaçlanan analizin sentezleyicinin desteklemek üzere tasarlandığıyla tutarlı olduğudur. Araştırma sorusunun bireysel düzeydeki kayıtların gerçekliğine bağlı olduğu, sentez modelinin yanlış belirtildiği veya ince dağılımsal yapaylıklardan yararlanan kötü niyetli yeniden tanımlama saldırılarının ciddi bir endişe kaynağı olduğu durumlarda uygun değildir. Alternatifler arasında diferansiyel gizlilik, veri enklavları (güvenli veri ortamları) ve sorgu tabanlı erişim sistemleri bulunur.
Sınırlar ve dikkat edilmesi gerekenler
- Çıkarımsal geçerlilik, sentez modelinin doğru belirtilmesine kritik derecede bağlıdır; yanlış belirtilmiş bir model, analistleri yanıltan yanlı dağılımlara sahip sentetik veri üretir.
- Birleştirme kuralları, verinin tamamen veya kısmen sentetik olup olmadığını ve kaç çoğaltma üretildiğini bilmeyi gerektirir; bu ayrıntılar yayımla birlikte sunulmalıdır.
- Aşırı çarpıklık, seyrek kategoriler veya karmaşık hiyerarşik yapılar içeren değişkenler için yüksek doğrulukta sentetik veri üretmek teknik olarak zor olmaya devam etmektedir.
- Üyelik çıkarımı ve öznitelik ifşa saldırıları, sentetik veri kümelerinin koşulsuz biçimde gizliliği sağlamadığını göstermiştir; biçimsel gizlilik garantileri, diferansiyel gizlilik gibi ek mekanizmalar gerektirir.
Kaynak metnin koşulları, bağımsız bilimsel inceleme veya analiz motoru doğrulaması yerine geçmez.
Güçlü yönleri
- Analistlerin özel bir altyapı olmadan standart yazılımlar ve iş akışlarıyla kullanabilecekleri kendi içinde tam bir veri kümesi yayımlar.
- Titiz bir Bayesci çoklu atama çerçevesine dayanır, birleştirme kuralları doğru uygulandığında geçerli varyans tahmini sağlar.
- Basit maskeleme yöntemlerinin bozduğu karmaşık çok değişkenli ilişkileri, nadir alt grup dağılımlarını ve boylamsal yapıları yeniden üretebilir.
- Yüksek boyutlu mikro verilere doğal olarak ölçeklenir ve sentezleyicinin doğruluğunu artırmak için yardımcı (auxiliary) kamuya açık verileri içerebilir.
Uygulama alanları
- Nüfus sayımları ve hane halkı anketlerinden kamu kullanımına yönelik mikro veri dosyaları yayımlayan ulusal istatistik kurumları, yanıtlayıcı kimliklerini korurken.
- Sağlık sistemleri, HIPAA veya GDPR kapsamında korunmuş sağlık bilgilerini açığa çıkarmadan epidemiyolojik araştırmalar için hasta kayıtlarını paylaşır.
- Finans kurumları, dolandırıcılık tespiti model geliştirme ve düzenleyici stres testi alıştırmaları için sentetik işlem veri kümeleri üretir.
- Sosyal bilimler veri arşivleri, sınıf içi öğretim için sentetik öğretim veri kümeleriyle kısıtlı erişimli boylamsal çalışmaları artırır.
- Teknoloji şirketleri, gerçek günlükler kullanılamayacak kadar hassas olduğunda makine öğrenmesi modellerini eğitmek ve kıyaslamak için sentetik kullanıcı davranışı günlükleri üretir.
Nasıl çalışır?
Nasıl çalışır?
Gizli orijinal veri kümesine, Bayesci parametrik modellerden sıralı regresyona veya derin üretici ağlara kadar bir üretici model uydurulur. Amaç, korelasyonları ve marjinal özellikleri de dahil olmak üzere tüm değişkenlerin tam ortak dağılımını yakalamaktır, böylece sentezleyici, analistlerin sonraki çıkarımları için ihtiyaç duyacağı her şeyi kodlar.
Formül
p(X_{\text{synth}} \mid X_{\text{obs}}) = \int p(X_{\text{synth}} \mid \theta)\, p(\theta \mid X_{\text{obs}})\, d\thetaModel parametrelerinin tek bir nokta tahmini yerine, sentez prosedürü gözlemlenen verilere dayalı olarak sonsal dağılımdan yeni bir parametre vektörü örnekler. Bu Bayesci adım, parametre belirsizliğini her sentetik çoğaltmaya yayar, aşırı iddialı çıkarımları önler ve sentez çerçevesini Rubin'in çoklu atama kuramıyla biçimsel olarak uyumlu hale getirir.
Formül
\theta^{*} \sim p(\theta \mid X_{\text{obs}})Çekilen parametre vektörü kullanılarak, orijinaliyle aynı boyutlarda yepyeni bir veri kümesi simüle edilir. Bu adım, sonsal dağılımdan farklı bir çekimi yansıtan ve dolayısıyla hem örnekleme değişkenliğine hem de parametre tahminine atfedilebilen tam belirsizliği yakalayan M kez (genellikle M = 5–20) tekrarlanarak M bağımsız sentetik çoğaltma üretilir.
Formül
X_{\text{synth}}^{(m)} \sim p(X \mid \theta^{*}), \quad m = 1, \ldots, MAnalistler, M sentetik veri kümesinin her birinde istatistiksel prosedürlerini çalıştırarak M nokta tahmini ve varyans tahmini elde ederler. Bunlar Rubin'in birleştirme kuralları kullanılarak birleştirilir: genel tahmin, M tahmininin ortalamasıdır ve toplam varyans, (M+1)/M ile ölçeklenen çoğaltmalar arası bileşene çoğaltmalar içi varyansı ekleyerek geçerli sıklıkçı güven aralıkları ve hipotez testleri sağlar.
Formül
\bar{Q} = \frac{1}{M} \sum_{m=1}^{M} \hat{Q}^{(m)}, \quad T = \frac{1}{M}\sum_{m=1}^{M} U^{(m)} + \frac{M+1}{M} B_MSık yapılan hatalar
- Yalnızca tek bir sentetik çoğaltma (M = 1) yayımlamak, birleştirme kuralları çerçevesini geçersiz kılar ve aşırı iddialı standart hatalar üretir.
- Sentez modelini temsili olmayan bir alt örneklem üzerinde uydurup ardından popülasyon ölçeğinde sentetik kayıtlar üretmek, analistlerin tespit edemeyebileceği sistematik bir yanlılık yaratır.
- Sentetik verileri, kayıt eşleştirme veya coğrafi mikro hedefleme gibi bireysel gerçeklik gerektiren analizlerde gerçek verilerin mükemmel bir ikamesi olarak ele almak, özü itibarıyla yanlış sonuçlara yol açar.
- Sentez modelinden nadir ancak analitik olarak önemli alt grupların hariç tutulması, bu grupların sentetik çıktıda bulunmamasına veya ciddi şekilde bozulmasına neden olabilir.
Sık sorulan sorular
Kaç sentetik çoğaltma (M) gereklidir?
Rubin'in birleştirme kuralları, çoğaltmalar arası varyansı tahmin etmek için en az M = 2 çoğaltma gerektirir. Pratikte, M = 5 ila 20 standarttır: daha küçük M, varyans tahminlerini şişirir ve istatistiksel gücü azaltır, çok büyük M ise azalan kazançlar sunar. En uygun seçim, toplam varyansın ne kadarının çoğaltmalar içi örnekleme değişkenliğine kıyasla sentez belirsizliğine atfedilebilir olduğuna bağlıdır.
Sentetik veri, GDPR kapsamında anonimleştirilmiş veri ile aynı mıdır?
Düzenleyiciler genellikle sentetik verilere temkinli yaklaşır. Sentez modeli bireysel kayıtları ezberlerse veya yakından yaklaştırırsa, çıktı hâlâ kişisel veri olarak kabul edilebilir. GDPR kapsamında gerçek anonimleştirme, yeniden tanımlamanın makul derecede imkânsız olmasını gerektirir; sentetik veri, yalnızca kanıtlanabilir şekilde düşük üyelik çıkarımı riski gösterildiğinde, genellikle sentez prosedürünün üzerine katmanlanmış resmi diferansiyel gizlilik garantileri aracılığıyla bu çıtayı karşılar.
Bayesci regresyon sentezleyicileri yerine derin üretici modelleri kullanabilir miyim?
Evet. GAN'lar, VAE'ler ve difüzyon modelleri sentezleyici olarak uygulanmış ve parametrik modellerin kaçırdığı yüksek derecede doğrusal olmayan bağımlılıkları yakalayabilir. Ancak, Rubin'in birleştirme kurallarını destekleyen ilkeli posterior örnekleme yorumundan yoksundurlar, bu nedenle sentez belirsizliğini ölçmek ve bir GAN'dan M çoğaltma yayımlamanın geçerli çıkarımlar mı yoksa aynı üretilmiş dağılımın M'ye yakın özdeş kopyaları mı sağladığından emin olmak için ek çalışma gereklidir.
İlgili yöntemler
Kaynaklar
Rubin, D. B. (1993). Statistical disclosure limitation. Journal of Official Statistics, 9(2), 461–468.
Yayın kaynağını açKopyalandı.