Skip to content
بازگشت به نتایج جست‌وجو

فرایند گاوسی بیزی

معرفی‌شده توسط
O'Hagan, A.; Neal, R. M.; Rasmussen, C. E. & Williams, C. K. I.
سال
1978–2006
نوع
Probabilistic kernel model
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

فرایند گاوسی بیزی (GP) مستقیماً یک توزیع احتمال را بر روی توابع قرار می‌دهد و از یک هسته (kernel) برای کدگذاری شباهت بین ورودی‌ها استفاده می‌کند. پس از مشاهده داده‌ها، قاعده بیز این پیشین را به یک پسین تبدیل می‌کند که نه تنها پیش‌بینی‌های نقطه‌ای، بلکه تخمین‌های عدم قطعیت کالیبره شده را در هر ورودی جدید ارائه می‌دهد — که آن را به یکی از مدل‌های احتمالی با اصول‌ترین در یادگیری ماشین تبدیل می‌کند.

شهود پشت روش

تصور کنید بی‌نهایت منحنی معقول را از طریق داده‌های خود رسم می‌کنید، که هر یک با آنچه می‌دانید سازگار است. یک GP میزان احتمال هر منحنی را قبل و بعد از مشاهده‌ها کمی‌سازی می‌کند. هسته تعیین می‌کند که کدام منحنی‌ها هموار یا پرپیچ‌وخم، نزدیک یا دوربرد به نظر می‌رسند. هنگامی که داده‌ها می‌رسند، GP خانواده منحنی‌های معقول را در اطراف مشاهدات محدود می‌کند در حالی که عدم قطعیت صادقانه را در جایی که داده‌ها پراکنده هستند، حفظ می‌کند. این هم یک پیش‌بینی و هم یک باند اطمینان را ارائه می‌دهد که به طور واقعی میزان شواهد پشتیبان پیش‌بینی را منعکس می‌کند.

تاریخ

استفاده از فرایندهای گاوسی در آمار به O'Hagan (1978) و کریجینگ (Kriging) در ژئواستاتیک (Matheron, 1963) بازمی‌گردد. پذیرش آنها در یادگیری ماشین توسط Neal (1996) کاتالیز شد، که نشان داد شبکه‌های عمیق در حد عرض بی‌نهایت به GP‌ها همگرا می‌شوند، و توسط کتاب Rasmussen و Williams در سال ۲۰۰۶، که به مرجع استاندارد تبدیل شد. امروزه GP‌ها زیربنای خطوط لوله بهینه‌سازی بیزی در تنظیم فراپارامتر و طراحی آزمایش در مهندسی و علم هستند.

چه زمانی استفاده شود

هنگامی که به عدم قطعیت کالیبره شده در کنار پیش‌بینی‌ها نیاز دارید — برای مثال در یادگیری فعال، بهینه‌سازی بیزی، کاربردهای حیاتی ایمنی، یا استنتاج علمی که در آن دانستن آنچه مدل نمی‌داند به اندازه خود پیش‌بینی اهمیت دارد — از یک GP بیزی استفاده کنید. این روش در مجموعه داده‌های کوچک تا متوسط (تا چند هزار مشاهده) با ورودی‌های پیوسته یا ساختاریافته و توابع زیربنایی هموار عالی عمل می‌کند. از GP‌ها زمانی که مجموعه داده بدون روش‌های GP پراکنده یا تقریبی از ۱۰,۰۰۰ ردیف تجاوز می‌کند، زمانی که فضای ورودی ابعاد بالا (بالاتر از ۲۰ ویژگی) بدون ساختار پیشین قوی است، یا زمانی که تنها یک پیش‌بینی‌کننده نقطه‌ای سریع و مبهم مورد نیاز است، اجتناب کنید.

محدودیت‌ها و ملاحظات

  • هزینه محاسباتی مکعبی O(n^3) در استنتاج دقیق، استفاده را به مجموعه داده‌های چند هزار مشاهده‌ای بدون تقریب‌های پراکنده محدود می‌کند.
  • انتخاب هسته تأثیرگذار است و نیاز به تخصص دامنه دارد؛ یک هسته نادرست مشخص شده، هم پیش‌بینی‌ها و هم تخمین‌های عدم قطعیت را کاهش می‌دهد.
  • استنتاج فرم بسته برای درست‌نمایی‌های غیر گاوسی (طبقه‌بندی، شمارش) از بین می‌رود و نیاز به تقریب‌هایی دارد که پیچیدگی را اضافه می‌کنند.
  • بدون کاهش ابعاد یا هسته‌های ساختاریافته، به خوبی به فضاهای ورودی با ابعاد بالا مقیاس‌پذیر نیست.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • توزیع‌های پیش‌بینی کاملاً کالیبره شده را تولید می‌کند، نه فقط تخمین‌های نقطه‌ای.
  • پسین فرم بسته برای رگرسیون — دقیق، بدون نیاز به نمونه‌برداری برای داده‌های متوسط.
  • انتخاب هسته، دانش دامنه غنی در مورد همواری، تناوب و ساختار را کدگذاری می‌کند.
  • لگاریتم درست‌نمایی حاشیه‌ای، یادگیری خودکار فراپارامتر و مقایسه مدل را فراهم می‌کند.
  • به طور طبیعی از یادگیری فعال و بهینه‌سازی بیزی با کمی‌سازی جایی که عدم قطعیت بالاترین است، پشتیبانی می‌کند.
  • کارآمد در نمونه‌برداری: در مجموعه داده‌های کوچک که یادگیری عمیق نمی‌تواند تعمیم یابد، عملکرد خوبی دارد.

کاربردها

  • بهینه‌سازی بیزی برای تنظیم فراپارامتر، طراحی آزمایش، و AutoML.
  • مدل‌سازی جایگزین در شبیه‌سازی‌های مهندسی و آزمایش‌های کامپیوتری.
  • درون‌یابی فضایی و ژئواستاتیک (Kriging).
  • پیش‌بینی سری‌های زمانی با کمی‌سازی عدم قطعیت اصولی.
  • یادگیری فعال: انتخاب آموزنده‌ترین مشاهده بعدی بر اساس واریانس پسین.
  • استنتاج علمی که در آن انتشار عدم قطعیت در کنار پیش‌بینی مورد نیاز است.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک پیشین GP با یک تابع میانگین m(x) — که اغلب صفر در نظر گرفته می‌شود — و یک تابع کوواریانس (هسته) k(x,x') تعریف می‌شود که نحوه هم‌تغییر خروجی‌ها در دو ورودی را کدگذاری می‌کند. این دو با هم یک توزیع بر روی تمام توابع را مشخص می‌کنند که مدل از آن راه‌حل‌های کاندید را قبل از مشاهده هر داده‌ای نمونه‌برداری می‌کند.

فرمول
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x},\mathbf{x}'))
2

هسته انتخاب مرکزی مدل‌سازی است. هسته‌های رایج شامل هسته‌های نمایی مربعی (RBF)، ماتِرن (Matern)، تناوبی و خطی هستند که هر کدام فرضیات متفاوتی در مورد همواری، تناوب یا روند را کدگذاری می‌کنند. دانش دامنه برای انتخاب یا ترکیب هسته‌ها که با رفتار مورد انتظار تابع هدف مطابقت دارند، استفاده می‌شود.

3

با توجه به مشاهدات آموزشی (X, y)، قاعده بیز به صورت فرم بسته برای رگرسیون اعمال می‌شود تا GP پسین به دست آید. میانگین پسین، پیش‌بینی نقطه‌ای را در هر ورودی جدید x* ارائه می‌دهد، در حالی که واریانس پسین عدم قطعیت باقیمانده را کمی‌سازی می‌کند — که در نزدیکی مشاهدات کاهش می‌یابد و در مناطق کاوش نشده گسترش می‌یابد.

فرمول
p(f^* | \mathbf{X}, \mathbf{y}, \mathbf{x}^*) = \mathcal{N}(\mu^*, \sigma^{*2})
4

فراپارامترهای هسته (مقیاس‌های طول، واریانس خروجی، سطح نویز) با حداکثرسازی لگاریتم درست‌نمایی حاشیه‌ای (log marginal likelihood) آموخته می‌شوند، که به طور خودکار برازش داده‌ها را در برابر پیچیدگی مدل متعادل می‌کند. این تیغ اوکام (Occam's razor) داخلی از اعتبارسنجی متقابل جداگانه برای انتخاب فراپارامتر در بسیاری از تنظیمات جلوگیری می‌کند.

فرمول
\hat{\boldsymbol{\theta}} = \arg\max \log p(\mathbf{y}|\mathbf{X},\boldsymbol{\theta})
5

توزیع پیش‌بینی نهایی در یک نقطه جدید برای رگرسیون گاوسی است و یک میانگین و یک واریانس را بازمی‌گرداند. برای طبقه‌بندی، یک گام تقریب اضافی (لاپلاس، انتشار انتظار، یا استنتاج واریانس) GP پنهان را به احتمالات کلاس تبدیل می‌کند.

دام‌های رایج

  • استفاده از هسته RBF پیش‌فرض بدون در نظر گرفتن اینکه آیا داده‌ها واقعاً هموار و ایستا هستند یا خیر.
  • نادیده گرفتن واریانس پیش‌بینی پسین و گزارش تنها میانگین، که مزیت اصلی مدل را از بین می‌برد.
  • اعمال استنتاج دقیق GP بر روی مجموعه داده‌های بزرگ (n > 10,000) بدون تقریب‌های پراکنده یا نقاط القایی، که باعث خرابی حافظه و سرعت می‌شود.
  • اشتباه گرفتن بهینه‌سازی فراپارامتر GP (درست‌نمایی حاشیه‌ای) با استنتاج بیزی کامل بر روی فراپارامترها — دومی نیاز به MCMC دارد و به ندرت در عمل انجام می‌شود.
  • برخورد با خروجی‌های GP طبقه‌بندی به گونه‌ای که گویی پسین پنهان دقیق است، بدون در نظر گرفتن خطای تقریب در درست‌نمایی‌های غیر گاوسی.

پرسش‌های متداول

آیا یک فرایند گاوسی ذاتاً بیزی است؟

بله. یک GP یک پیشین بر روی توابع تعریف می‌کند، و شرطی‌سازی بر روی داده‌ها یک پسین را از طریق قاعده بیز به دست می‌دهد. توزیع پیش‌بینی، حاشیه‌سازی تمام توابع معقول است که با احتمال پسین آنها وزن‌دهی شده‌اند، که ویژگی تعریف‌کننده استنتاج بیزی است.

چگونه هسته را انتخاب کنم؟

با این سوال شروع کنید که آیا انتظار می‌رود تابع هموار باشد (RBF/نمایی مربعی)، تناوبی (هسته تناوبی)، یا تکه‌ای نامنظم (Matern 3/2 یا 5/2). هسته‌ها را می‌توان به صورت جمعی یا ضربی ترکیب کرد تا ساختار مرکب را به تصویر بکشد. انتخاب‌ها را با استفاده از لگاریتم درست‌نمایی حاشیه‌ای اعتبارسنجی کنید.

آیا می‌توانم از یک GP بر روی هزاران نقطه داده استفاده کنم؟

استنتاج دقیق GP دارای هزینه O(n^3) است که برای چند هزار نقطه بر روی سخت‌افزار مدرن قابل انجام است. برای مجموعه داده‌های بزرگتر، از تقریب‌های GP پراکنده (روش‌های نقطه القایی مانند FITC یا VFE) یا GP‌های واریانس تصادفی استفاده کنید که تا میلیون‌ها مشاهده مقیاس‌پذیر هستند.

تفاوت بین رگرسیون GP و طبقه‌بندی GP چیست؟

رگرسیون GP از یک درست‌نمایی گاوسی استفاده می‌کند، بنابراین پسین نیز گاوسی است و می‌تواند به صورت فرم بسته محاسبه شود. طبقه‌بندی GP از یک درست‌نمایی برنولی (یا سافت‌مکس) استفاده می‌کند که غیر گاوسی است، بنابراین پسین باید تقریب زده شود — معمولاً با تقریب لاپلاس یا انتشار انتظار.

یک GP چگونه با یک شبکه عصبی مقایسه می‌شود؟

GP‌ها برای داده‌های کوچک مناسب‌تر هستند، عدم قطعیت کالیبره شده را به صورت آماده ارائه می‌دهند و از طریق هسته قابل تفسیر هستند. شبکه‌های عصبی بر روی داده‌های بزرگ و با ابعاد بالا غالب هستند. شبکه‌های عصبی با عرض بی‌نهایت و فعال‌سازی‌های خاص از نظر ریاضی معادل GP‌ها هستند که یک ارتباط نظری عمیق بین این دو را آشکار می‌کند.

روش‌های مرتبط

منابع

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    شابک: 978-0-262-18253-9
    کپی شد.
  2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning (Ch. 6). Springer.

    شابک: 978-0-387-31073-2
    کپی شد.