Skip to content
بازگشت به نتایج جست‌وجو

تی-اس‌ان‌ای (t-SNE)

معرفی‌شده توسط
van der Maaten, L. & Hinton, G.
سال
2008
نوع
Nonlinear dimensionality reduction (manifold visualization)

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تی-اس‌ان‌ای (t-Distributed Stochastic Neighbor Embedding) یک روش کاهش ابعاد غیرخطی است که توسط Laurens van der Maaten و Geoffrey Hinton در سال ۲۰۰۸ معرفی شد و داده‌های با ابعاد بالا را برای بصری‌سازی به فضای دوبعدی یا سه‌بعدی نگاشت می‌کند. این روش شباهت‌های محلی احتمالی را حفظ می‌کند، بنابراین نقاطی که در فضای اصلی همسایه هستند، نزدیک به هم باقی می‌مانند و ساختار خوشه‌ای و همسایگی‌های محلی را آشکار می‌سازند.

شهود پشت روش

هنگامی که داده‌ها در ده‌ها یا صدها بعد قرار دارند، نمی‌توانیم آن‌ها را مستقیماً ببینیم. تی-اس‌ان‌ای برای هر جفت نقطه یک سوال ساده‌تر می‌پرسد: چقدر احتمال دارد که یکی به عنوان همسایه دیگری انتخاب شود؟ سپس یک تصویر دوبعدی یا سه‌بعدی را به گونه‌ای تنظیم می‌کند که این احتمالات همسایگی تا حد امکان با دقت بازتولید شوند. نتیجه یک نقشه است که در آن مشاهدات به شدت مرتبط در توده‌های قابل مشاهده جمع می‌شوند و به چشم اجازه می‌دهد گروه‌هایی را که در جدول خام با ابعاد بالا نامرئی هستند، تشخیص دهد.

تاریخ

تی-اس‌ان‌ای توسط Laurens van der Maaten و Geoffrey Hinton در سال ۲۰۰۸ در Journal of Machine Learning Research معرفی شد، که بر اساس Stochastic Neighbor Embedding قبلی با جایگزینی هسته گاوسی با ابعاد پایین آن با توزیع Student-t با دنباله سنگین برای حل مشکل ازدحام ساخته شد. این روش به سرعت به ابزار پیش‌فرض برای بصری‌سازی داده‌های با ابعاد بالا در یادگیری ماشین، ژنومیک و علوم اعصاب تبدیل شد. اخیراً UMAP به عنوان یک جایگزین سریع‌تر ظاهر شده است که اغلب ساختار جهانی بیشتری را حفظ می‌کند، اما تی-اس‌ان‌ای همچنان یک مرجع استاندارد برای بصری‌سازی اکتشافی باقی مانده است.

چه زمانی استفاده شود

از تی-اس‌ان‌ای برای بصری‌سازی و کاوش داده‌های پیوسته با ابعاد بالا — جاسازی‌ها، پروفایل‌های بیان ژن، ویژگی‌های تصویر — زمانی استفاده کنید که می‌خواهید ساختار خوشه محلی را در ۲ یا ۳ بعد ببینید، با حداقل حدود ۵۰ مشاهده. این یک ابزار اکتشافی و بصری است: نقشه‌های آن را برای الگوهای گروه‌بندی و همسایگی بخوانید، نه برای استنتاج کمی. ابتدا ویژگی‌ها را استاندارد کنید، سرگشتگی (perplexity) را تنظیم کنید (یک قاعده کلی حدود n/10 است، در محدوده ۵ تا ۵۰)، و پایداری را در چندین مقدار سرگشتگی بررسی کنید. در مجموعه داده‌های بسیار بزرگ کند است، بنابراین UMAP یک جایگزین سریع‌تر است.

محدودیت‌ها و ملاحظات

  • فقط بصری‌سازی — فواصل و اندازه‌های خوشه در نقشه هیچ معنای کمی ندارند، بنابراین هیچ استنتاج آماری نباید از آن گرفته شود.
  • در مجموعه داده‌های بزرگ کند است؛ UMAP یک جایگزین سریع‌تر است.
  • نتایج تصادفی هستند و به شدت به سرگشتگی (perplexity) بستگی دارند، بنابراین اجراها یا تنظیمات مختلف ممکن است متفاوت به نظر برسند.
  • در نمونه‌های کوچک (n کمتر از حدود ۵۰) جاسازی ناپایدار و غیرقابل تکرار است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • در آشکارسازی ساختار خوشه محلی و همسایگی‌هایی که روش‌های خطی از دست می‌دهند، عالی است.
  • غیرخطی: ساختار منیفولد خمیده را که PCA نمی‌تواند، به تصویر می‌کشد.
  • نقشه‌های ۲بعدی/۳بعدی بصری تولید می‌کند که گروه‌بندی‌های با ابعاد بالا را در یک نگاه قابل مشاهده می‌سازد.
  • هسته Student-t با دنباله سنگین از مشکل ازدحام جلوگیری می‌کند و خوشه‌ها را به خوبی از هم جدا نگه می‌دارد.

کاربردها

  • بصری‌سازی جاسازی‌های با ابعاد بالا و فضاهای ویژگی آموخته شده در ۲ یا ۳ بعد.
  • کاوش ساختار خوشه در داده‌های تک سلولی یا بیان ژن.
  • بازرسی نمایش‌های ویژگی تصویر یا متن از مدل‌های عمیق.
  • تحلیل همسایگی اکتشافی قبل از خوشه‌بندی یا طبقه‌بندی کمی.

چگونه کار می‌کند

چگونه کار می‌کند

1

برای هر جفت نقطه در فضای اصلی با ابعاد بالا، تی-اس‌ان‌ای فاصله آن‌ها را با استفاده از یک هسته گاوسی به یک احتمال شرطی تبدیل می‌کند که یکی دیگری را به عنوان همسایه انتخاب کند. عرض این هسته برای هر نقطه تنظیم می‌شود تا تعداد مؤثر همسایه‌ها با سرگشتگی (perplexity) انتخاب شده (معمولاً ۵ تا ۵۰) مطابقت داشته باشد، که تعادل بین ساختار محلی و جهانی را کنترل می‌کند.

فرمول
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

هر نقطه در نقشه با ابعاد پایین یک موقعیت پیدا می‌کند و شباهت‌های زوجی در آنجا با توزیع Student-t با دنباله سنگین به جای گاوسی اندازه‌گیری می‌شوند. دنباله‌های سنگین به نقاط دور فضا می‌دهند تا از هم فاصله بگیرند، که از فشرده شدن همه چیز به مرکز جلوگیری می‌کند — «مشکل ازدحام» که روش‌های قبلی از آن رنج می‌بردند.

فرمول
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

تی-اس‌ان‌ای نقاط با ابعاد پایین را با استفاده از گرادیان کاهشی حرکت می‌دهد تا واگرایی Kullback–Leibler بین احتمالات همسایگی با ابعاد بالا و احتمالات با ابعاد پایین را به حداقل برساند. با کاهش این هزینه، ساختار همسایگی نقشه با داده‌های اصلی مطابقت پیدا می‌کند و طرح‌بندی خوشه‌ای نهایی را تولید می‌کند.

فرمول
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

دام‌های رایج

  • خواندن اندازه‌های خوشه یا فواصل بین خوشه‌ها به گونه‌ای که گویی معنی‌دار هستند — که اینطور نیستند.
  • نادیده گرفتن استانداردسازی ویژگی‌ها قبل از اجرای جاسازی.
  • انتخاب یک سرگشتگی (perplexity) واحد و عدم بررسی پایداری در سایر مقادیر.
  • نتیجه‌گیری‌های کمی از ابزاری که فقط برای کاوش بصری در نظر گرفته شده است.
  • اجرای تی-اس‌ان‌ای بر روی کمتر از حدود ۵۰ مشاهده، که در آن نقشه تصادفی و گمراه‌کننده می‌شود.

پرسش‌های متداول

سرگشتگی (perplexity) چه چیزی را کنترل می‌کند؟

سرگشتگی (perplexity) تعداد مؤثر همسایگانی را که هر نقطه در نظر می‌گیرد، تنظیم می‌کند و توجه به ساختار محلی در مقابل ساختار گسترده‌تر را متعادل می‌سازد. مقادیر معمول ۵ تا ۵۰ هستند، با یک قاعده کلی حدود n/10؛ عاقلانه است که چندین مقدار را امتحان کنید و بررسی کنید که ساختار قابل مشاهده پایدار است.

آیا می‌توانم اندازه‌های خوشه و فواصل را از یک نمودار تی-اس‌ان‌ای بخوانم؟

خیر. تی-اس‌ان‌ای همسایگی‌های محلی را حفظ می‌کند اما هندسه جهانی را نه، بنابراین اندازه یک خوشه و شکاف‌های بین خوشه‌ها از نظر کمی معنی‌دار نیستند. از نمودار برای تشخیص گروه‌بندی استفاده کنید، نه برای اندازه‌گیری آن.

تی-اس‌ان‌ای چه تفاوتی با PCA دارد؟

PCA یک پروجکشن خطی بر روی جهت‌های حداکثر واریانس است و ساختار جهانی را حفظ می‌کند، در حالی که تی-اس‌ان‌ای یک روش غیرخطی است که همسایگی‌های محلی را حفظ می‌کند و در آشکارسازی خوشه‌ها برتری دارد. آن‌ها مکمل یکدیگر هستند؛ PCA اغلب به عنوان یک مرحله پیش‌پردازش قبل از تی-اس‌ان‌ای استفاده می‌شود.

آیا باید از تی-اس‌ان‌ای یا UMAP استفاده کنم؟

هر دو روش‌های بصری‌سازی غیرخطی هستند. تی-اس‌ان‌ای یک استاندارد دیرینه برای ساختار محلی است، در حالی که UMAP در مجموعه داده‌های بزرگ سریع‌تر است و تمایل دارد ساختار جهانی بیشتری را حفظ کند، بنابراین زمانی که حجم داده بالا است، انتخاب بهتری است.

روش‌های مرتبط

منابع

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    باز کردن مرجع انتشار
    کپی شد.