Skip to content
بازگشت به نتایج جست‌وجو

مدل ترکیبی گوسی یادگیری فعال

معرفی‌شده توسط
Settles, B. (active learning framework); Dempster, Laird & Rubin (GMM via EM, 1977)
سال
2000s (combination)
نوع
Active learning for probabilistic clustering / density estimation
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

مدل ترکیبی گوسی یادگیری فعال (Active Learning Gaussian Mixture Model) یک استراتژی پرس‌وجوی تکراری را با یک یادگیرنده مدل ترکیبی گوسی ترکیب می‌کند. این الگوریتم، نقاط برچسب‌نخورده‌ای را که بیشترین اطلاعات را دارند — معمولاً آن‌هایی که بیشترین عدم قطعیت پیش‌بینی را دارند — انتخاب کرده، آن‌ها را برای برچسب‌زنی به یک اوراکل ارائه می‌دهد و مدل ترکیبی گوسی (GMM) را با استفاده از الگوریتم امید-بیشینه (EM) بر روی مجموعه در حال رشد داده‌های برچسب‌دار، دوباره برازش می‌کند. نتیجه، یک مدل چگالی است که با کیفیت داده‌های کامل مطابقت دارد و در عین حال به تعداد بسیار کمتری نمونه برچسب‌دار نیاز دارد.

شهود پشت روش

برچسب‌زنی داده‌ها پرهزینه است. یک مدل ترکیبی گوسی ساده که بر روی تمام داده‌ها آموزش دیده است، عملکرد خوبی دارد اما به تعداد زیادی نمونه برچسب‌دار نیاز دارد. یادگیری فعال با پرسیدن این سوال، این مشکل را حل می‌کند: کدام نقطه برچسب‌نخورده، اگر اکنون برچسب‌زنی شود، بیشترین کاهش را در عدم قطعیت من در مورد مولفه‌های ترکیبی ایجاد می‌کند؟ نقاط نزدیک به مرزهای تصمیم‌گیری بین مولفه‌ها یا در نواحی کم‌نمونه، بیشترین اطلاعات را دارند. با پرس‌وجو فقط از این نقاط با ارزش بالا و برازش مجدد مدل ترکیبی گوسی پس از دریافت هر برچسب، مدل با کسری از بودجه برچسب‌زنی به عملکرد خوبی دست می‌یابد. این امر آن را برای وظایفی مانند تصویربرداری پزشکی یا تشخیص رویدادهای نادر که در آن حاشیه‌نویسی تخصصی پرهزینه است، جذاب می‌کند.

تاریخ

مدل‌های ترکیبی گوسی از طریق الگوریتم امید-بیشینه (Expectation-Maximization) توسط Dempster، Laird و Rubin در سال 1977 فرموله شدند. یادگیری فعال به عنوان یک چارچوب سیستماتیک توسط Settles در دهه 2000 بیان شد و به سخنرانی سنتز پر استناد سال 2012 اوج گرفت. ترکیب پرس‌وجوی فعال با مدل‌های ترکیبی گوسی در ادبیات یادگیری ماشین دهه 2000 و 2010 پدیدار شد، که با کاربردهای تخمین چگالی و خوشه‌بندی نیمه‌نظارتی که در آن بودجه‌های حاشیه‌نویسی محدود هستند، انگیزه یافت.

چه زمانی استفاده شود

از مدل ترکیبی گوسی یادگیری فعال زمانی استفاده کنید که داده‌های پیوسته برچسب‌نخورده فراوانی دارید اما برچسب‌زنی پرهزینه یا کند است، و شما یک مدل چگالی احتمالی یا خوشه‌بندی می‌خواهید. این مدل برای وظایفی با عضویت نرم خوشه، کلاس‌های همپوشان و نیاز به کمی‌سازی عدم قطعیت — مانند تشخیص ناهنجاری، تشخیص پزشکی، یا طبقه‌بندی علمی — مناسب است. زمانی از آن استفاده نکنید که برچسب‌ها از قبل فراوان و ارزان هستند، زمانی که تعداد مولفه‌ها K بسیار نامشخص است و نمی‌توان آن را به صورت خارجی تأیید کرد، زمانی که داده‌ها ابعاد بالایی دارند بدون کاهش ابعاد (تخمین کوواریانس GMM تخریب می‌شود)، یا زمانی که نیاز اصلی شما تمایز به جای تخمین چگالی است.

محدودیت‌ها و ملاحظات

  • انتخاب تعداد مولفه‌های K نیازمند دانش دامنه یا معیارهای انتخاب مدل مانند BIC/AIC است.
  • تخمین کوواریانس GMM در فضاهای ویژگی با ابعاد بالا بدون کاهش ابعاد قبلی، تخریب می‌شود.
  • مزایای یادگیری فعال کاهش می‌یابد اگر بذر اولیه برچسب‌دار برای راه‌اندازی یک مدل معنی‌دار خیلی کوچک باشد.
  • پرس‌وجوی ترتیبی یک حلقه بازخورد ایجاد می‌کند که می‌تواند مجموعه داده‌های برچسب‌دار را بایاس کند اگر مدل اولیه به شدت نادرست مشخص شده باشد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • هزینه برچسب‌زنی را با هدف قرار دادن فقط نامطمئن‌ترین نمونه‌ها به شدت کاهش می‌دهد.
  • تخصیص‌های نرم خوشه‌ای احتمالی و یک مدل چگالی کامل را ارائه می‌دهد، نه فقط برچسب‌های سخت.
  • تخمین‌های عدم قطعیت از پسین GMM مستقیماً به عنوان معیار پرس‌وجو عمل می‌کنند و خط لوله را منسجم نگه می‌دارند.
  • شروع گرم EM، بازآموزی در هر دور را حتی برای مجموعه داده‌های نسبتاً بزرگ سریع می‌کند.
  • با داده‌های پیوسته با ابعاد متوسط ​​به خوبی کار می‌کند و گروه‌های همپوشان را به طور طبیعی مدیریت می‌کند.

کاربردها

  • بخش‌بندی تصویر پزشکی که در آن حاشیه‌نویسی تخصصی نواحی بافت پرهزینه است.
  • تشخیص رویدادهای نادر در جریان‌های سنسور با استفاده از برچسب‌زنی هدایت‌شده توسط عدم قطعیت.
  • خوشه‌بندی داده‌های علمی (مانند مورفولوژی کهکشان، خانواده‌های پروتئین) با برچسب‌های حقیقت زمینی محدود.
  • امتیازدهی ناهنجاری در کنترل کیفیت صنعتی با بازخورد تخصصی تکراری.
  • مدل‌سازی گفتار و صدا که در آن حاشیه‌نویسی در سطح فونیم زمان‌بر است.

چگونه کار می‌کند

چگونه کار می‌کند

1

یک مدل ترکیبی گوسی اولیه با تعداد مولفه‌های انتخاب شده K بر روی داده‌های برچسب‌دار موجود برازش داده می‌شود، یا از یک مجموعه بذر تصادفی کوچک مقداردهی اولیه می‌شود. الگوریتم EM وزن‌های ترکیبی، میانگین‌های مولفه‌ها و ماتریس‌های کوواریانس را که تخمین چگالی اولیه را تعریف می‌کنند، به دست می‌دهد.

2

برای هر نقطه برچسب‌نخورده، الگوریتم یک امتیاز اطلاعاتی بودن را محاسبه می‌کند — معمولاً آنتروپی پیش‌بینی H(y|x,theta) بر روی K مولفه، یا حاشیه بین دو پسین مولفه برتر. نقطه‌ای با بالاترین امتیاز به عنوان پرس‌وجوی بعدی انتخاب می‌شود.

فرمول
x^* = \arg\max_{x \in U}\, H(y \mid x, \theta)
3

نقطه انتخاب شده به یک متخصص انسانی یا یک اوراکل خودکار ارائه می‌شود که یک برچسب خوشه یا کلاس را فراهم می‌کند. این برچسب به مجموعه برچسب‌دار اضافه شده و نقطه از مجموعه برچسب‌نخورده حذف می‌شود.

4

مدل ترکیبی گوسی با استفاده از الگوریتم EM بر روی مجموعه برچسب‌دار به‌روز شده، دوباره آموزش داده می‌شود. از آنجایی که در هر دور فقط یک یا یک دسته کوچک از نقاط اضافه می‌شود، شروع گرم (warm-starting) از پارامترهای قبلی، بازآموزی را کارآمد نگه می‌دارد.

5

پرس‌وجو تا زمانی ادامه می‌یابد که بودجه حاشیه‌نویسی تمام شود، امتیازات عدم قطعیت به زیر یک آستانه کاهش یابد، یا عملکرد مدل بر روی داده‌های نگه‌داشته متوقف شود. سپس مدل ترکیبی گوسی نهایی برای تخمین چگالی، خوشه‌بندی یا طبقه‌بندی استفاده می‌شود.

دام‌های رایج

  • در نظر گرفتن مجموعه برچسب‌دار انتخاب شده فعال به عنوان یک نمونه مستقل و توزیع شده یکسان (i.i.d.) برای استنتاج استاندارد — این نمونه به دلیل طراحی بایاس شده است.
  • تعیین زودهنگام K بدون بررسی BIC یا احتمال لگاریتمی اعتبارسنجی متقابل، منجر به مولفه‌های نادرست مشخص شده می‌شود.
  • پرس‌وجو در دسته‌های بسیار بزرگ در هر دور، که مزیت تطبیقی انتخاب فعال را از بین می‌برد.
  • نادیده گرفتن منظم‌سازی کوواریانس (مانند افزودن یک جمله قطری کوچک) در استخرهای برچسب‌دار کوچک، که باعث به‌روزرسانی‌های تخریب شده EM می‌شود.
  • ارزیابی فقط بر روی مجموعه داده‌های برچسب‌دار به جای یک مجموعه داده برچسب‌نخورده نگه‌داشته شده، که عملکرد ظاهری را متورم می‌کند.

پرسش‌های متداول

چگونه تعداد مولفه‌های گوسی K را انتخاب کنم؟

مدل‌های ترکیبی گوسی با Kهای مختلف را بر روی داده‌های برچسب‌دار موجود برازش دهید و امتیازات BIC یا AIC را مقایسه کنید. احتمال لگاریتمی اعتبارسنجی متقابل بر روی یک زیرمجموعه برچسب‌نخورده نگه‌داشته شده، زمانی که داده‌های برچسب‌دار کمیاب هستند، قابل اعتمادتر است. دانش دامنه در مورد تعداد مورد انتظار خوشه‌ها یا کلاس‌ها قابل اعتمادترین راهنما است.

آیا می‌توانم در هر دور بیش از یک نقطه را پرس‌وجو کنم؟

بله — یادگیری فعال دسته‌ای (batch-mode active learning) تا B نقطه نامطمئن برتر را در هر دور انتخاب می‌کند. دسته‌های بزرگتر امکان حاشیه‌نویسی موازی را فراهم می‌کنند اما مزیت تطبیقی به‌روزرسانی تک پرس‌وجویی را کاهش می‌دهند. اندازه‌های دسته 5 تا 20 در عمل رایج هستند.

اگر داده‌های برچسب‌نخورده من ابعاد بالایی داشته باشند چه؟

قبل از برازش GMM، از PCA یا یک autoencoder برای کاهش ابعاد استفاده کنید. تخمین کوواریانس در GMM به سرعت با افزایش تعداد ویژگی‌ها نسبت به تعداد مشاهدات برچسب‌دار، تخریب می‌شود و ماتریس‌های کوواریانس کامل نزدیک به منفرد می‌شوند.

این با مدل ترکیبی گوسی نیمه‌نظارتی چه تفاوتی دارد؟

مدل ترکیبی گوسی نیمه‌نظارتی از داده‌های برچسب‌دار و برچسب‌نخورده در هر مرحله EM استفاده می‌کند و از ساختار چگالی داده‌های برچسب‌نخورده بهره می‌برد. مدل ترکیبی گوسی یادگیری فعال بر روی اینکه کدام نقاط برچسب‌نخورده باید برچسب‌زنی شوند تمرکز دارد و معمولاً آن‌ها را فقط در مجموعه داده‌های برچسب‌دار نگه می‌دارد. این دو رویکرد می‌توانند ترکیب شوند: از EM نیمه‌نظارتی برای برازش و پرس‌وجوی فعال برای تصمیم‌گیری در مورد آنچه باید برچسب‌زنی شود، استفاده کنید.

آیا یادگیری فعال با GMM برای تشخیص ناهنجاری مناسب است؟

بله، اما با احتیاط. یک مدل ترکیبی گوسی اولیه که بر روی داده‌های عمدتاً عادی آموزش دیده است، می‌تواند نقاط با احتمال کم را به عنوان ناهنجاری علامت‌گذاری کند. پرس‌وجوی فعال از آن نقاط به اوراکل اجازه می‌دهد تا ناهنجاری‌ها را تأیید یا رد کند و به تدریج مرز بین نواحی چگالی عادی و ناهنجار را اصلاح کند.

روش‌های مرتبط

منابع

  1. Zhu, X., Ghahramani, Z., & Lafferty, J. (2003). Semi-supervised learning using Gaussian fields and harmonic functions. Proceedings of the 20th International Conference on Machine Learning (ICML), 912–919.

    باز کردن مرجع انتشار
    کپی شد.
  2. Settles, B. (2012). Active Learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 6(1), 1–114. Morgan & Claypool Publishers.

    باز کردن مرجع DOI
    کپی شد.