Skip to content
بازگشت به نتایج جست‌وجو

یادگیری متریک

معرفی‌شده توسط
Xing, E. P.; Jordan, M. I.; Russell, S.; Ng, A. Y.
سال
2003 (foundational); refined 2009 (LMNN)
نوع
Representation learning / supervised distance optimization
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری متریک یک چارچوب یادگیری ماشین است که یک تابع فاصله یا شباهت را از داده‌ها آموزش می‌دهد تا نمونه‌های معنایی مشابه در فضای یادگرفته‌شده به هم نزدیک شوند، در حالی که نمونه‌های نامشابه از هم دور شوند. برخلاف فواصل ثابت مانند اقلیدسی، متریک یادگرفته‌شده با ساختار وظیفه سازگار می‌شود و طبقه‌بندی‌کننده‌ها، خوشه‌بندی‌کننده‌ها و سیستم‌های بازیابی پایین‌دستی را به طور قابل توجهی دقیق‌تر می‌کند.

شهود پشت روش

فواصل استاندارد مانند اقلیدسی با تمام ابعاد ویژگی به طور یکسان رفتار می‌کنند. اما در بسیاری از مسائل، برخی ویژگی‌ها بسیار آموزنده‌تر از بقیه هستند و ابعاد مرتبط بر اساس کلاس متفاوت است. یادگیری متریک مانند آموزش خط‌کش است: با داشتن اطلاعاتی در مورد اینکه کدام جفت نمونه باید نزدیک و کدام باید دور از هم باشند، هندسه فضای ویژگی را تنظیم می‌کند تا یک طبقه‌بندی‌کننده نزدیک‌ترین همسایه ساده یا الگوریتم خوشه‌بندی بلافاصله گروه‌بندی‌ها را به درستی انجام دهد. فضای یادگرفته‌شده به طور مؤثری معنای «مشابه» را برای وظیفه خاص به تصویر می‌کشد.

تاریخ

چارچوب مدرن توسط Xing و همکاران (2003) پایه‌گذاری شد، که یادگیری متریک را به عنوان یک مسئله بهینه‌سازی محدب با محدودیت‌های جفتی فرموله کردند. Weinberger و Saul (2009) نزدیک‌ترین همسایه با حاشیه بزرگ (LMNN) را معرفی کردند که استاندارد جدیدی را برای وظایف مبتنی بر k-NN تعیین کرد. این حوزه با یادگیری متریک عمیق شتاب گرفت: Chopra و همکاران (2005) شبکه سیامی (Siamese network) را با تابع زیان کنتراستیو رایج کردند، و Schroff و همکاران (2015) تابع زیان سه‌گانه FaceNet را برای تأیید چهره در مقیاس بزرگ معرفی کردند. امروزه یادگیری متریک زیربنای بسیاری از تحقیقات یادگیری چندشاتی و نمایش بصری است.

چه زمانی استفاده شود

هنگامی که وظیفه پایین‌دستی ذاتاً مبتنی بر شباهت است — به عنوان مثال، طبقه‌بندی چندشاتی (few-shot classification)، تأیید چهره، بازیابی تصویر پزشکی، شناسایی گوینده، یا توصیه محصول — و هنگامی که یک فاصله اقلیدسی ثابت عملکرد ضعیفی دارد زیرا ویژگی‌ها دارای ارتباط نابرابر هستند، از یادگیری متریک استفاده کنید. این روش با مجموعه‌داده‌های برچسب‌گذاری‌شده متوسط تا بزرگ و ورودی‌های با ابعاد بالا مانند تصاویر یا جاسازی‌های متنی عالی عمل می‌کند. از آن اجتناب کنید زمانی که تعداد نمونه‌های برچسب‌گذاری‌شده در هر کلاس بسیار کم است (کمتر از حدود 5-10 در هر کلاس)، زمانی که هدف نهایی یک رگرسیون یا طبقه‌بندی جدولی ساده است که به خوبی توسط رگرسیون لجستیک یا تقویت گرادیان انجام می‌شود، یا زمانی که قابلیت تفسیر بر حسب ضرایب ویژگی صریح مورد نیاز است.

محدودیت‌ها و ملاحظات

  • زیان‌های سه‌گانه و کنتراستیو نیاز به استخراج دقیق جفت/سه‌گانه دارند؛ نمونه‌برداری تصادفی عمدتاً جفت‌های آسان و بی‌اهمیت تولید می‌کند و آموزش را به شدت کند می‌کند.
  • روش‌های ماهالانوبیس خطی با ابعاد ویژگی به صورت درجه دوم مقیاس‌پذیر هستند و در ابعاد بسیار بالا بدون کاهش ابعاد، غیرقابل استفاده می‌شوند.
  • نیاز به داده‌های برچسب‌گذاری‌شده یا با محدودیت جفتی دارد؛ تنظیمات کاملاً بدون نظارت، آنچه را که می‌توان بدون فرضیات اضافی یاد گرفت، محدود می‌کند.
  • ارزیابی غیرمستقیم است — کیفیت متریک باید از طریق یک وظیفه پایین‌دستی ارزیابی شود، نه یک مقدار زیان واحد.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • هندسه فضای ویژگی را با وظیفه خاص تطبیق می‌دهد و دقت نزدیک‌ترین همسایه و خوشه‌بندی را به طور قابل توجهی افزایش می‌دهد.
  • تشخیص چندشاتی را امکان‌پذیر می‌سازد: هنگامی که یک متریک خوب یاد گرفته شود، طبقه‌بندی کلاس‌های جدید تنها به تعداد کمی از نمونه‌ها نیاز دارد.
  • به خوبی در دامنه‌ها منتقل می‌شود — یک متریک که بر روی یک مجموعه داده یاد گرفته شده است می‌تواند برای یک وظیفه مرتبط با داده‌های اضافی کم تنظیم دقیق شود.
  • مدل-ناشناس: جاسازی یادگرفته‌شده می‌تواند هر الگوریتم پایین‌دستی (k-NN, SVM, k-means) را بدون آموزش مجدد آن اجزا تغذیه کند.
  • فرمول‌بندی‌های کنتراستیو و سه‌گانه از طریق نمونه‌برداری مینی-بچ به مجموعه‌داده‌های بسیار بزرگ مقیاس‌پذیر هستند.

کاربردها

  • تأیید و تشخیص چهره: یادگیری اینکه آیا دو تصویر چهره یک شخص را نشان می‌دهند.
  • طبقه‌بندی تصویر چندشاتی: طبقه‌بندی دسته‌های بصری جدید از یک یا چند نمونه.
  • بازیابی تصویر پزشکی: یافتن مناطق اسکن مشابه یا پچ‌های بافت‌شناسی در پایگاه‌های داده بزرگ.
  • تأیید گوینده و صدا در سیستم‌های احراز هویت بیومتریک.
  • توصیه محصول و جستجوی بصری در تجارت الکترونیک.

چگونه کار می‌کند

چگونه کار می‌کند

1

از داده‌های برچسب‌گذاری‌شده یا با حاشیه‌نویسی جفتی، جفت‌های مثبت (هم‌کلاس یا صراحتاً مشابه) و جفت‌های منفی (کلاس متفاوت یا صراحتاً نامشابه) تعریف می‌شوند. این محدودیت‌ها معنای «نزدیک» و «دور» را برای وظیفه کدگذاری می‌کنند و سیگنال نظارت برای آموزش متریک را تشکیل می‌دهند.

2

یک تابع فاصله پارامتری انتخاب می‌شود — اغلب یک فاصله ماهالانوبیس که توسط یک ماتریس مثبت نیمه‌معین M کنترل می‌شود، یا یک تابع جاسازی شبکه عصبی که با فاصله اقلیدسی یا کسینوسی دنبال می‌شود. ماتریس M مقیاس‌بندی هم‌راستا با محور را به بازوزن‌دهی کامل بین ویژگی‌ها تعمیم می‌دهد.

فرمول
d_M(x_i,x_j)=\sqrt{(x_i-x_j)^\top M (x_i-x_j)},\; M \succeq 0
3

یک هدف برای نزدیک کردن جفت‌های مثبت و دور کردن جفت‌های منفی با رعایت یک حاشیه یا محدودیت نرم فرموله می‌شود. اهداف رایج شامل تابع زیان کنتراستیو (contrastive loss)، تابع زیان سه‌گانه (triplet loss) (فاصله لنگر-مثبت کمتر از فاصله لنگر-منفی با یک حاشیه)، یا تابع زیان لولایی نزدیک‌ترین همسایه با حاشیه بزرگ (LMNN) هستند.

4

پارامترهای متریک (M یا وزن‌های شبکه عصبی) از طریق گرادیان کاهشی یا برنامه‌ریزی نیمه‌معین بهینه می‌شوند. استراتژی‌های نمونه‌برداری مینی-بچ مانند استخراج منفی‌های سخت برای اهداف مبتنی بر سه‌گانه حیاتی هستند: نمونه‌برداری تصادفی تمایل به تولید سه‌گانه‌های بی‌اهمیت دارد که همگرایی را کند می‌کنند.

5

در زمان استنتاج، متریک یا جاسازی یادگرفته‌شده بر روی داده‌های جدید اعمال می‌شود. وظایف پایین‌دستی — طبقه‌بندی نزدیک‌ترین همسایه، خوشه‌بندی k-means، بازیابی تصویر، یا توصیه — در فضای یادگرفته‌شده عمل می‌کنند، جایی که فاصله به طور وفادارانه شباهت معنایی را منعکس می‌کند.

دام‌های رایج

  • استفاده از نمونه‌برداری سه‌گانه تصادفی به جای استخراج منفی‌های سخت یا نیمه‌سخت، که منجر به گرادیان نزدیک به صفر و توقف آموزش می‌شود.
  • ارزیابی متریک فقط بر روی کلاس‌های آموزشی؛ عملکرد بر روی کلاس‌های دیده نشده (هدف تعمیم واقعی) ممکن است بسیار پایین‌تر باشد.
  • غفلت از نرمال‌سازی جاسازی‌ها قبل از محاسبه شباهت کسینوسی، که باعث ایجاد مصنوعات مقیاس می‌شود.
  • برخورد با جاسازی یادگرفته‌شده به عنوان قابل تفسیر بر حسب ویژگی‌های اصلی بدون تحلیل اضافی مانند بررسی خطی یا SHAP.
  • اعمال یک متریک یادگرفته‌شده به یک تغییر دامنه (توزیع داده متفاوت) بدون اعتبارسنجی مجدد یا تنظیم دقیق.

پرسش‌های متداول

تفاوت بین یادگیری متریک و یادگیری کنتراستیو چیست؟

یادگیری کنتراستیو یک خانواده خاص از اهداف یادگیری متریک است (مانند تابع زیان کنتراستیو، SimCLR) که جفت‌های مثبت و منفی را مقایسه می‌کند. یادگیری متریک چارچوب گسترده‌تری است که شامل روش‌های ماهالانوبیس، زیان‌های سه‌گانه و اهداف مبتنی بر پروکسی نیز می‌شود.

چند نمونه در هر کلاس نیاز دارم؟

روش‌های ماهالانوبیس خطی می‌توانند با حداقل 10-20 نمونه در هر کلاس کار کنند. یادگیری متریک عمیق عموماً به ده‌ها تا صدها نمونه در هر کلاس برای یادگیری جاسازی‌های مفید نیاز دارد، اگرچه ستون فقرات از پیش آموزش‌دیده می‌توانند این نیاز را به طور قابل توجهی کاهش دهند.

آیا یادگیری متریک همان کاهش ابعاد است؟

دقیقاً نه. روش‌هایی مانند PCA یا UMAP ابعاد را بدون نظارت مستقیم کاهش می‌دهند. یادگیری متریک از نظارت کلاس یا جفتی برای شکل‌دهی هندسه استفاده می‌کند، بنابراین فضای حاصله وظیفه-تمایزگر است، نه فقط فشرده.

آیا یادگیری متریک می‌تواند کلاس‌های نامتوازن را مدیریت کند؟

بله، اما نمونه‌برداری جفت/سه‌گانه باید طبقه‌بندی‌شده باشد تا از غلبه کلاس غالب بر بچ جلوگیری شود. زیان‌های مبتنی بر پروکسی (Proxy-NCA, Proxy-Anchor) نسبت به نمونه‌برداری سه‌گانه در برابر عدم توازن کلاس مقاوم‌تر هستند.

چه زمانی باید به جای یک طبقه‌بندی‌کننده استاندارد از یادگیری متریک استفاده کنم؟

هنگامی که نیاز به تعمیم به کلاس‌های دیده نشده در زمان آموزش دارید (تشخیص مجموعه باز، یادگیری چندشاتی)، یا زمانی که وظیفه بازیابی است نه پیش‌بینی کلاس ثابت، یادگیری متریک را ترجیح دهید.

روش‌های مرتبط

منابع

  1. Xing, E. P., Jordan, M. I., Russell, S., & Ng, A. Y. (2003). Distance metric learning with application to clustering with side-information. In Advances in Neural Information Processing Systems (NIPS), 16, 505–512.

    باز کردن مرجع انتشار
    کپی شد.
  2. Weinberger, K. Q., & Saul, L. K. (2009). Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research, 10, 207–244.

    باز کردن مرجع انتشار
    کپی شد.