Skip to content
بازگشت به نتایج جست‌وجو

فرایند گوسی

معرفی‌شده توسط
Rasmussen, C. E. & Williams, C. K. I.
سال
2006 (book); roots in Kriging, 1951)
نوع
Probabilistic non-parametric model
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یک فرایند گوسی (GP) یک مدل یادگیری ماشین غیرپارامتری و کاملاً احتمالی است که توزیع پیشین مستقیماً بر روی توابع قرار می‌دهد. به جای پیش‌بینی یک مقدار واحد، میانگین پیش‌بینی و تخمین عدم قطعیت کالیبره شده را در هر نقطه آزمون برمی‌گرداند و آن را به ویژه برای رگرسیون در مجموعه داده‌های کوچک تا متوسط و برای وظایف بهینه‌سازی بیزی ارزشمند می‌سازد.

شهود پشت روش

به جای برازش یک منحنی ثابت به داده‌های شما، یک فرایند گوسی کل توزیعی را بر روی منحنی‌های ممکن که با آنچه مشاهده کرده‌اید سازگار است، حفظ می‌کند. قبل از مشاهده داده‌ها، فرض می‌کند که توابع باید هموار باشند (همانطور که توسط یک هسته تعریف شده است). پس از مشاهده داده‌ها، آن توزیع را محدود می‌کند: نقاط آزمون نزدیک، پیش‌بینی‌های دقیق و مطمئن دریافت می‌کنند، در حالی که مناطق دور یا کم‌داده، باندهای عدم قطعیت گسترده‌ای تولید می‌کنند. این کمیت‌سنجی عدم قطعیت داخلی، چیزی است که GPها را از اکثر مدل‌های دیگر متمایز می‌کند.

تاریخ

فرایندهای گوسی ریشه‌های خود را به کرایگینگ می‌رسانند، که توسط دانی کرایگ در ژئواستاتستیک در دهه 1950 توسعه یافته و توسط ژرژ ماترون فرموله شده است. پذیرش آنها در یادگیری ماشین عمدتاً توسط کارل راسموسن و کریستوفر ویلیامز هدایت شد که کتاب انتشارات MIT در سال 2006 آنها به مرجع قطعی تبدیل شد و GP را به عنوان یک جایگزین غیرپارامتری بیزی اصولی برای شبکه‌های عصبی و SVMهای هسته، به ویژه برای تنظیماتی که کمیت‌سنجی عدم قطعیت ضروری است، تثبیت کرد.

چه زمانی استفاده شود

فرایندهای گوسی در مجموعه داده‌های کوچک تا متوسط (تا چند هزار سطر) که کمیت‌سنجی عدم قطعیت اهمیت دارد - به عنوان مثال، آزمایش‌های علمی، طراحی مهندسی، یا مدل‌سازی جایگزین برای شبیه‌سازی‌های پرهزینه - برتری دارند. آنها روش انتخابی برای بهینه‌سازی بیزی هستند. زمانی که به جای فقط تخمین‌های نقطه‌ای، به فواصل پیش‌بینی کالیبره شده نیاز دارید و انتظار می‌رود رابطه بین ورودی‌ها و خروجی‌ها هموار باشد، GP را به مدل‌های ساده‌تر ترجیح دهید. زمانی که n از حدود 10,000 مشاهده فراتر می‌رود، از GP اجتناب کنید، زیرا استنتاج دقیق با مقیاس O(n^3) محاسبه را بدون تقریب غیرممکن می‌سازد. GP همچنین با فضاهای ورودی بسیار پربعد و توابع ناپیوسته یا بسیار ناهمگن، مگر اینکه هسته‌هایی با دقت تنظیم شده استفاده شوند، مشکل دارد.

محدودیت‌ها و ملاحظات

  • استنتاج دقیق در زمان O(n^3) و حافظه O(n^2) است که آن را برای n بزرگ بدون روش‌های GP پراکنده یا تقریبی غیرعملی می‌کند.
  • عملکرد در فضاهای ورودی بسیار پربعد به دلیل نفرین ابعاد در فواصل هسته، کاهش می‌یابد.
  • انتخاب و ترکیب هسته‌ها نیازمند دانش دامنه است؛ یک هسته بد انتخاب شده منجر به کالیبراسیون نامناسب عدم قطعیت می‌شود.
  • طبقه‌بندی (طبقه‌بندهای GP) نیازمند تقریب اضافی لاپلاس یا انتشار انتظاری است که پیچیدگی را افزایش می‌دهد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • فواصل پیش‌بینی کالیبره شده را در کنار پیش‌بینی‌های نقطه‌ای برمی‌گرداند.
  • فوق‌العاده کارآمد از نظر نمونه - در مجموعه داده‌های کوچک که مدل‌های مبتنی بر درخت بیش‌برازش می‌کنند، عملکرد خوبی دارد.
  • انتخاب هسته به طور انعطاف‌پذیر دانش دامنه در مورد همواری، تناوب یا مقیاس را رمزگذاری می‌کند.
  • فراپارامترها از طریق احتمال حاشیه‌ای از داده‌ها یاد گرفته می‌شوند و تنظیم خودکار را فراهم می‌کنند.
  • چارچوب بومی برای بهینه‌سازی بیزی و طراحی آزمایش یادگیری فعال.

کاربردها

  • رگرسیون بر روی مجموعه داده‌های علمی و مهندسی کوچک تا متوسط که نیازمند فواصل اطمینان کالیبره شده هستند.
  • بهینه‌سازی بیزی توابع جعبه سیاه پرهزینه مانند تنظیم فراپارامتر یا طراحی آزمایش.
  • مدل‌سازی جایگزین برای شبیه‌سازی‌های محاسباتی پرهزینه در هوافضا، علم مواد و مدل‌سازی آب و هوا.
  • درون‌یابی فضایی-زمانی و نقشه‌برداری ژئواستاتستیکی (کرایگینگ).
  • یادگیری فعال: استفاده از واریانس پسین برای انتخاب آموزنده‌ترین اندازه‌گیری بعدی.
  • مدل‌سازی سری زمانی با هسته‌های متناوب یا ترکیبی که ساختار فصلی را رمزگذاری می‌کنند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک تابع هسته (معمولاً مربع نمایی / RBF) باورهای پیشین در مورد همواری تابع و مقیاس طول را رمزگذاری می‌کند. این شباهت بین هر دو نقطه ورودی را اندازه‌گیری می‌کند: ورودی‌های مشابه باید خروجی‌های مشابهی تولید کنند. انتخاب شکل هسته به شدت بر انواع توابعی که GP می‌تواند نمایش دهد، حاکم است.

فرمول
k(\mathbf{x}, \mathbf{x}') = \sigma^2 \exp\!\left(-\frac{\|\mathbf{x}-\mathbf{x}'\|^2}{2l^2}\right)
2

قبل از مشاهده هر داده‌ای، GP یک توزیع پیشین بر روی توابع تعریف می‌کند: هر مجموعه متناهی از مقادیر تابع به طور مشترک گوسی با تابع میانگین m(x) و کوواریانس داده شده توسط هسته است. این پیشین، باور اولیه در مورد نحوه رفتار تابع ناشناخته است.

فرمول
f(\mathbf{x}) \sim \mathcal{GP}(m(\mathbf{x}),\, k(\mathbf{x}, \mathbf{x}'))
3

شرطی کردن پیشین بر روی داده‌های آموزشی مشاهده شده، توزیع پسین را که آن نیز گوسی است، به دست می‌دهد. میانگین پسین به پیش‌بینی نقطه‌ای در هر ورودی جدید x* تبدیل می‌شود و واریانس پسین یک فاصله اطمینان کالیبره شده را فراهم می‌کند که به طور خودکار در مناطقی که داده‌های آموزشی متراکم هستند، باریک می‌شود.

فرمول
f_* \mid \mathbf{X}, \mathbf{y}, \mathbf{x}_* \sim \mathcal{N}(\mu_*, \sigma^2_*)
4

فراپارامترهای هسته (مقیاس طول، واریانس خروجی، سطح نویز) با حداکثر کردن احتمال حاشیه‌ای لگاریتمی داده‌های آموزشی تخمین زده می‌شوند. این بهینه‌سازی، برازش داده را با پیچیدگی مدل متعادل می‌کند و تنظیم خودکار را بدون عبارت جریمه جداگانه انجام می‌دهد.

فرمول
\hat{\boldsymbol{\theta}} = \arg\max_{\boldsymbol{\theta}} \log p(\mathbf{y} \mid \mathbf{X}, \boldsymbol{\theta})
5

در زمان پیش‌بینی، میانگین پسین به عنوان تخمین نقطه‌ای و انحراف معیار پسین به عنوان باند عدم قطعیت برگردانده می‌شود. هر دو را می‌توان مستقیماً استفاده کرد: میانگین را برای بهترین حدس گزارش دهید و فاصله را برای انتقال میزان اطمینان مدل در هر مکان ورودی جدید.

دام‌های رایج

  • استفاده از هسته پیش‌فرض RBF بدون بررسی اینکه آیا تابع واقعاً ایستا و هموار است - الگوهای متناوب یا ناپیوسته به هسته‌های متفاوتی نیاز دارند.
  • فراموش کردن استانداردسازی ورودی‌ها و خروجی‌های پیوسته قبل از برازش، که منجر به ماتریس‌های کوواریانس بدحالت می‌شود.
  • در نظر گرفتن میانگین پسین به تنهایی به عنوان خروجی و نادیده گرفتن باندهای عدم قطعیت، که سهم اصلی مدل هستند.
  • اعمال GP دقیق بر روی مجموعه داده‌هایی با n بالاتر از حدود 5000 بدون تغییر به تقریب پراکنده یا نقطه القایی.
  • مخلوط کردن نویز تصادفی (خطای اندازه‌گیری غیرقابل کاهش) با عدم قطعیت اپیستمیک (عدم قطعیت مدل) هنگام تفسیر خروجی واریانس.

پرسش‌های متداول

با چه هسته‌ای باید شروع کنم؟

هسته مربع نمایی (RBF) نقطه شروع پیش‌فرض است زیرا توابع هموار و بی‌نهایت مشتق‌پذیر تولید می‌کند و فراپارامترهای مقیاس طول و واریانس خروجی قابل تفسیر دارد. اگر انتظار دارید تابع کمتر هموار باشد، به هسته ماتِرن تغییر دهید، یا برای داده‌های فصلی یک جزء متناوب اضافه کنید.

مجموعه داده من 50,000 سطر دارد. آیا هنوز می‌توانم از GP استفاده کنم؟

استنتاج دقیق GP در آن مقیاس غیرممکن خواهد بود. روش‌های GP پراکنده (مانند نقاط القایی / FITC) یا GP متغیر تصادفی را در نظر بگیرید، که هر دو هزینه آموزش را به حدود O(nm^2) کاهش می‌دهند که در آن m تعداد نقاط القایی است (m << n). کتابخانه‌هایی مانند GPyTorch اینها را به طور کارآمد پیاده‌سازی می‌کنند.

GP چگونه با رگرسیون خطی بیزی متفاوت است؟

رگرسیون خطی بیزی یک پیشین بر روی مجموعه محدودی از ضرایب ثابت قرار می‌دهد؛ بنابراین انعطاف‌پذیری مدل توسط توابع پایه انتخاب شده محدود می‌شود. GP یک پیشین مستقیماً بر روی توابع در یک فضای بی‌نهایت بعدی قرار می‌دهد، بنابراین پیچیدگی مؤثر آن بدون نیاز به پیش‌تعیین بسط‌های پایه، با داده‌ها سازگار می‌شود.

آیا تخمین‌های عدم قطعیت واقعاً کالیبره شده‌اند؟

تحت مدل و هسته صحیح، عدم قطعیت‌های پسین GP طبق ساختار به خوبی کالیبره شده‌اند. در عمل، عدم کالیبراسیون ناشی از مشخصات نادرست هسته یا نادیده گرفتن ساختار نویز است. همیشه یک بررسی پیش‌بینی پسین انجام دهید - مقادیر مشاهده شده در مقابل مقادیر پیش‌بینی شده را با پوشش فواصل اطمینان رسم کنید.

آیا فرایندهای گوسی می‌توانند ورودی‌های دسته‌ای یا مختلط را مدیریت کنند؟

هسته‌های استاندارد GP بر روی ورودی‌های پیوسته عمل می‌کنند. ورودی‌های دسته‌ای نیازمند هسته‌های ویژه (مانند هسته فاصله همینگ) یا رمزگذاری هستند. برای داده‌های عمدتاً دسته‌ای یا بسیار پربعد مختلط، مدل‌های مبتنی بر درخت مانند جنگل تصادفی یا تقویت گرادیان معمولاً نقطه شروع بهتری هستند.

روش‌های مرتبط

منابع

  1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    شابک: 978-0-262-18253-9
    کپی شد.
  2. Gaussian process. Wikipedia.

    باز کردن مرجع انتشار
    کپی شد.