Skip to content
بازگشت به نتایج جست‌وجو

فرایند گوسی نیمه‌نظارت‌شده

معرفی‌شده توسط
Lawrence, N. D. & Jordan, M. I.
سال
2004
نوع
Probabilistic model (semi-supervised)
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

فرایند گوسی نیمه‌نظارت‌شده، چارچوب احتمالی فرایند گوسی را برای بهره‌برداری از داده‌های بدون برچسب در کنار مجموعه‌ای کوچک از مشاهدات برچسب‌دار گسترش می‌دهد. با قرار دادن یک پیشین فرایند گوسی بر روی توابع و استفاده از ساختار هندسی آشکار شده توسط ورودی‌های بدون برچسب، پیش‌بینی‌کننده‌های دقیق‌تر و با کالیبراسیون بهتر نسبت به یک فرایند گوسی کاملاً نظارت‌شده، زمانی که برچسب‌ها کمیاب هستند، یاد می‌گیرد و آن را برای مسائل علمی و پزشکی که حاشیه‌نویسی در آن‌ها پرهزینه است، مناسب می‌سازد.

شهود پشت روش

یک فرایند گوسی استاندارد، توزیعی بر روی توابع هموار تعریف می‌کند و برای ایجاد پیش‌بینی‌ها بر نقاط آموزشی برچسب‌دار شرطی می‌شود. هنگامی که برچسب‌ها نادر هستند، این پسین شرطی در نواحی کم‌داده، عدم قطعیت بالایی دارد. فرایند گوسی نیمه‌نظارت‌شده با استفاده از ورودی‌های بدون برچسب برای آشکار کردن ساختار منیفولد یا چگالی زیربنایی فضای ورودی، این موضوع را برطرف می‌کند. هسته - که شباهت را رمزگذاری می‌کند - سپس می‌تواند توسط نقاط بدون برچسب زیادی شکل داده شود، بنابراین مدل یاد می‌گیرد که داده‌ها کجا قرار دارند قبل از اینکه حتی یک برچسب را ببیند. این امر عدم قطعیت پسین را به شدت کاهش داده و تعمیم‌پذیری را از مثال‌های برچسب‌دار کم بهبود می‌بخشد.

تاریخ

چارچوب فرایند گوسی نیمه‌نظارت‌شده به طور رسمی توسط لارنس و جردن در NeurIPS 2004 معرفی شد، که بر اساس کتاب بنیادی فرایند گوسی برای یادگیری ماشین راسمسن و ویلیامز (کتاب 2006، دست‌نوشته‌های اولیه از سال 1996 منتشر شده) بنا شده است. این رویکرد ایده‌هایی از منظم‌سازی منیفولد، لاپلاسین‌های گراف و ناپارامتری‌های بیزی را ترکیب می‌کند و بر کارهای بعدی در زمینه فرایندهای گوسی پراکنده، یادگیری هسته عمیق و شبکه‌های عصبی گراف با خروجی‌های احتمالی تأثیر گذاشته است.

چه زمانی استفاده شود

هنگامی از فرایند گوسی نیمه‌نظارت‌شده استفاده کنید که داده‌های برچسب‌دار کمیاب اما داده‌های بدون برچسب فراوان هستند، به تخمین‌های عدم قطعیت کالیبره‌شده در کنار پیش‌بینی‌ها نیاز دارید، و فضای ورودی دارای ساختار هندسی هموار است که نقاط بدون برچسب می‌توانند آن را روشن کنند. این روش در زمینه‌های زیست‌شناسی، پزشکی و علوم فیزیکی که حاشیه‌نویسی پرهزینه است، برتری دارد. از آن زمانی که مجموعه داده بزرگ است (هزاران نقطه برچسب‌دار)، زیرا استنتاج فرایند گوسی با O(n^3) در تعداد نقاط برچسب‌دار مقیاس می‌شود و از نظر محاسباتی غیرعملی می‌شود، اجتناب کنید. همچنین از آن زمانی که بعد ورودی بسیار بالا است (بالاتر از حدود 50 ویژگی) بدون مهندسی دقیق هسته، یا زمانی که ضرایب قابل تفسیر به جای پیش‌بینی‌های احتمالی، خروجی اصلی هستند، اجتناب کنید.

محدودیت‌ها و ملاحظات

  • مقیاس مکعبی O(n^3) در تعداد نقاط برچسب‌دار، آن را فراتر از چند هزار مشاهده بدون تقریب‌های پراکنده، غیرعملی می‌سازد.
  • استنتاج تقریبی (لاپلاس، EP) برای توابع احتمال غیرگوسی مانند طبقه‌بندی مورد نیاز است و خطای تقریب را معرفی می‌کند.
  • عملکرد به شدت به انتخاب هسته و فرض اینکه نقاط بدون برچسب به طور صادقانه منیفولد داده‌ها را نشان می‌دهند، بستگی دارد.
  • بهینه‌سازی ابرپارامتر محاسباتی فشرده می‌تواند کند باشد و ممکن است در ابعاد بالا به بهینه‌های محلی ضعیف همگرا شود.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • توزیع‌های پیش‌بینی کامل را تولید می‌کند و عدم قطعیت کالیبره‌شده را در کنار هر پیش‌بینی ارائه می‌دهد.
  • داده‌های بدون برچسب می‌توانند دقت را به طور چشمگیری در زمانی که برچسب‌ها نادر هستند، بهبود بخشند و بودجه حاشیه‌نویسی را بیشتر کنند.
  • انعطاف‌پذیری هسته اجازه رمزگذاری دانش دامنه در مورد همواری، تناوب، یا هندسه ورودی را می‌دهد.
  • چارچوب بیزی اصولی از انتخاب ابرپارامتر از طریق حداکثرسازی احتمال حاشیه‌ای پشتیبانی می‌کند.
  • به طور طبیعی وظایف پیش‌بینی چندخروجی و ساختاریافته را از طریق امتدادهای فرایند گوسی چندخروجی مدیریت می‌کند.

کاربردها

  • پیش‌بینی فعالیت دارو از توصیف‌گرهای مولکولی با ترکیبات کم برچسب‌گذاری شده با سنجش.
  • طبقه‌بندی تصویربرداری پزشکی که در آن حاشیه‌نویسی‌های تخصصی محدود است اما اسکن‌های خام فراوان هستند.
  • مدل‌سازی حسگر محیطی با استفاده از قرائت‌های کالیبره‌شده پراکنده و اندازه‌گیری‌های غیرکالیبره‌شده متراکم.
  • طبقه‌بندی بیان ژن با برچسب‌های فنوتیپی محدود اما مجموعه داده‌های ترانسکریپتومیک بزرگ.
  • پیش‌بینی خواص مواد در شیمی و فیزیک که در آن اندازه‌گیری‌های آزمایشی برچسب‌دار پرهزینه هستند.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک تابع هسته k(x_i, x_j) باورهای پیشین را در مورد همواری و مقیاس تابع هدف رمزگذاری می‌کند. برای تنظیمات نیمه‌نظارت‌شده، هسته‌های مبتنی بر گراف یا سازگار با منیفولد از تمام ورودی‌های موجود - هم برچسب‌دار و هم بدون برچسب - ساخته می‌شوند، به طوری که معیار شباهت، هندسه واقعی داده‌ها را به جای فاصله اقلیدسی خام منعکس می‌کند.

فرمول
k(x_i, x_j) = \sigma^2 \exp\!\left(-\frac{\|x_i - x_j\|^2}{2\ell^2}\right)
2

یک پیشین تابع نهفته با میانگین صفر فرایند گوسی f ~ GP(0, k) قرار داده می‌شود. از آنجایی که هسته از کل مجموعه بدون برچسب تخمین زده شده است، این پیشین از قبل ساختار هندسی منیفولد ورودی را قبل از گنجاندن هرگونه برچسب، رمزگذاری می‌کند.

فرمول
f \sim \mathcal{GP}(0, k)
3

نقاط بدون برچسب یا با ساختن یک منظم‌کننده لاپلاسین گراف بر روی تمام ورودی‌ها در مدل گنجانده می‌شوند، یا با در نظر گرفتن مقادیر تابع نهفته در مکان‌های بدون برچسب به عنوان متغیرهای کمکی که در طول استنتاج حاشیه‌سازی می‌شوند. هر دو رویکرد به مجموعه بزرگ بدون برچسب اجازه می‌دهند تا پسین را محدود و پایدار کنند.

4

شرطی شدن بر مشاهدات برچسب‌دار، پیشین فرایند گوسی را به یک پسین بر روی توابع به‌روز می‌کند. در تنظیمات طبقه‌بندی، این شامل استنتاج تقریبی (تقریب لاپلاس یا انتشار انتظاری) است زیرا احتمال گوسی با یک مدل مشاهده غیرگوسی جایگزین می‌شود.

فرمول
p(f^* | X, y, X_*) \propto p(y | f) \, p(f | X, X_*)
5

برای هر ورودی جدید x*، توزیع پیش‌بینی پسین به صورت تحلیلی (رگرسیون) یا از طریق تقریب (طبقه‌بندی) محاسبه می‌شود. خروجی یک توزیع پیش‌بینی کامل - میانگین و واریانس - است که نه تنها یک تخمین نقطه‌ای، بلکه کالیبراسیون عدم قطعیت را نیز ارائه می‌دهد که در دامنه‌های علمی با برچسب کم ضروری است.

فرمول
\hat{y}^* = \mathbb{E}[f^* | X, y, x^*]

دام‌های رایج

  • نادیده گرفتن هزینه O(n^3) و تلاش برای برازش یک فرایند گوسی متراکم بر روی هزاران نقطه بدون تقریب‌های نقطه القایی پراکنده.
  • استفاده از یک هسته فاصله اقلیدسی استاندارد بدون تطبیق آن با منیفولد داده‌ها، که مجموعه بدون برچسب را هدر می‌دهد.
  • در نظر گرفتن میانگین پسین به عنوان یک پیش‌بینی سخت و دور انداختن تخمین عدم قطعیت، که مزیت اصلی نسبت به روش‌های تمایزی است.
  • عدم اعتبارسنجی بر روی یک مجموعه برچسب‌دار نگهداری شده، زیرا داده‌های بدون برچسب می‌توانند تغییر توزیع ظریفی را ایجاد کنند اگر با دامنه آزمون مطابقت نداشته باشند.
  • اعمال روش زمانی که نسبت برچسب‌دار به بدون برچسب در حال حاضر بالا است، جایی که پیچیدگی اضافی مزیت ناچیزی نسبت به یک فرایند گوسی نظارت‌شده ارائه می‌دهد.

پرسش‌های متداول

این روش چگونه با یک فرایند گوسی نظارت‌شده استاندارد متفاوت است؟

یک فرایند گوسی نظارت‌شده فقط بر داده‌های برچسب‌دار شرطی می‌شود و ورودی‌های بدون برچسب را نادیده می‌گیرد. نوع نیمه‌نظارت‌شده از ورودی‌های بدون برچسب برای شکل دادن به هسته یا محدود کردن پیشین تابع قبل از شرطی شدن بر برچسب‌ها استفاده می‌کند، بنابراین منیفولد داده‌ها را بهره‌برداری کرده و خطای تعمیم‌پذیری کمتری را در زمانی که برچسب‌ها کمیاب هستند، به دست می‌آورد.

گلوگاه محاسباتی اصلی چیست؟

استنتاج فرایند گوسی در تعداد نقاط آموزشی مکعبی است. روش‌های نقطه القایی پراکنده (مانند FITC، VFE) این را به O(nm^2) کاهش می‌دهند که در آن m تعداد نقاط القایی است (معمولاً 50-500)، که فرایند گوسی نیمه‌نظارت‌شده در مقیاس بزرگ را امکان‌پذیر می‌سازد.

چگونه هسته را برای ادغام داده‌های بدون برچسب انتخاب کنم؟

یک رویکرد رایج، هسته لاپلاسین گراف یا هسته انتشار حرارتی است که بر روی تمام ورودی‌ها محاسبه می‌شود. به طور متناوب، یک هسته RBF استاندارد با طول مقیاس تنظیم شده بر روی توزیع ورودی کامل (برچسب‌دار + بدون برچسب) زمانی که داده‌ها کم‌بعد و به طور هموار توزیع شده‌اند، به خوبی کار می‌کند.

آیا عدم قطعیت کالیبره‌شده پس از ادغام داده‌های بدون برچسب حفظ می‌شود؟

در اصل بله - چارچوب بیزی پسین‌های کالیبره‌شده تولید می‌کند - اما تقریب‌های معرفی شده برای طبقه‌بندی (لاپلاس، EP) و روش‌های پراکنده (نقاط القایی) می‌توانند کالیبراسیون را کاهش دهند. ارزیابی خطای کالیبراسیون مورد انتظار (ECE) بر روی یک مجموعه اعتبارسنجی برچسب‌دار، یک عمل خوب است.

چه زمانی باید یک SVM نیمه‌نظارت‌شده را به این روش ترجیح دهم؟

یک SVM نیمه‌نظارت‌شده (S3VM/transductive SVM) را زمانی ترجیح دهید که به یک مرز تصمیم‌گیری ساده مبتنی بر حاشیه نیاز دارید، ویژگی‌های پراکنده با ابعاد بالا (مانند متن) دارید و به تخمین عدم قطعیت نیاز ندارید. فرایند گوسی نیمه‌نظارت‌شده را زمانی انتخاب کنید که خروجی‌های احتمالی و انعطاف‌پذیری هسته مهم هستند.

روش‌های مرتبط

منابع

  1. Lawrence, N. D., & Jordan, M. I. (2004). Semi-supervised learning via Gaussian processes. In Advances in Neural Information Processing Systems (NIPS), 17, 753–760. MIT Press.

    باز کردن مرجع انتشار
    کپی شد.
  2. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.

    شابک: 978-0-262-18253-9
    کپی شد.