الانتقال إلى المحتوى
العودة إلى نتائج البحث

t-SNE

قدّمه
van der Maaten, L. & Hinton, G.
السنة
2008
النوع
Nonlinear dimensionality reduction (manifold visualization)

هذا النص ترجمة آلية ولم تتم مراجعته بعد. اقرأ النص الأصلي بالإنجليزية

حجم الخط

ماذا تفعل؟

t-SNE (t-Distributed Stochastic Neighbor Embedding) هي طريقة غير خطية لتقليل الأبعاد قدمها لورينس فان دير ماتن وجيفري هينتون في عام 2008، والتي تقوم بتعيين البيانات عالية الأبعاد إلى مساحة ثنائية أو ثلاثية الأبعاد للتصور. إنها تحافظ على التشابهات المحلية الاحتمالية، لذا فإن النقاط المتجاورة في الفضاء الأصلي تظل قريبة من بعضها البعض، مما يكشف عن بنية التجمعات والأحياء المحلية.

الفكرة الحدسية وراء الطريقة

عندما تعيش البيانات في عشرات أو مئات الأبعاد، لا يمكننا رؤيتها مباشرة. تطرح t-SNE سؤالاً أبسط لكل زوج من النقاط: ما مدى احتمالية اختيار إحداهما كجار للأخرى؟ ثم تقوم بترتيب صورة ثنائية أو ثلاثية الأبعاد بحيث يتم إعادة إنتاج احتمالات الجوار هذه بأكبر قدر ممكن من الدقة. النتيجة هي خريطة تتجمع فيها الملاحظات المرتبطة ارتباطًا وثيقًا في تكتلات مرئية، مما يسمح للعين بتحديد المجموعات غير المرئية في الجدول الخام عالي الأبعاد.

التاريخ

تم تقديم t-SNE بواسطة لورينس فان دير ماتن وجيفري هينتون في عام 2008 في مجلة أبحاث تعلم الآلة، بناءً على التضمين العشوائي للجوار السابق عن طريق استبدال نواة الأبعاد المنخفضة الغاوسية بتوزيع t-Student ذي الذيل الثقيل لحل مشكلة الازدحام. سرعان ما أصبحت الأداة الافتراضية لتصور البيانات عالية الأبعاد عبر تعلم الآلة وعلم الجينوم وعلم الأعصاب. في الآونة الأخيرة، ظهر UMAP كبديل أسرع غالبًا ما يحافظ على بنية عالمية أكبر، لكن t-SNE تظل مرجعًا قياسيًا للتصور الاستكشافي.

متى تُستخدم

استخدم t-SNE لتصور واستكشاف البيانات المستمرة عالية الأبعاد - التضمينات، وملامح التعبير الجيني، وميزات الصور - عندما تريد رؤية بنية التجمعات المحلية في ثنائية أو ثلاثية الأبعاد، مع حوالي 50 ملاحظة على الأقل. إنها أداة استكشافية بصرية: اقرأ خرائطها للتجميع وأنماط الجوار، وليس للاستدلال الكمي. قم بتوحيد الميزات أولاً، وضبط الحيرة (قاعدة عامة حوالي n/10، ضمن 5-50)، وتحقق من الاستقرار عبر قيم حيرة متعددة. إنها بطيئة على مجموعات البيانات الكبيرة جدًا، لذا فإن UMAP بديل أسرع.

الحدود والاعتبارات

  • للتصور فقط - المسافات وأحجام التجمعات في الخريطة لا تحمل معنى كميًا، لذلك لا ينبغي استخلاص أي استدلال إحصائي منها.
  • بطيئة على مجموعات البيانات الكبيرة؛ UMAP بديل أسرع.
  • النتائج عشوائية وتعتمد بشدة على الحيرة، لذلك قد تبدو التشغيلات أو الإعدادات المختلفة مختلفة.
  • على العينات الصغيرة (n أقل من حوالي 50) يكون التضمين غير مستقر وغير قابل للتكرار.

لا تغني شروط المصدر عن المراجعة العلمية المستقلة أو التحقق بواسطة محرك تحليل.

نقاط القوة

  • ممتازة في الكشف عن بنية التجمعات المحلية والأحياء التي تفوتها الطرق الخطية.
  • غير خطية: تلتقط بنية المنحنيات المتعددة التي لا تستطيع PCA التقاطها.
  • تنتج خرائط ثنائية/ثلاثية الأبعاد بديهية تجعل التجمعات عالية الأبعاد مرئية بنظرة واحدة.
  • تتجنب نواة t-Student ذات الذيل الثقيل مشكلة الازدحام، مما يحافظ على فصل التجمعات بشكل جيد.

التطبيقات

  • تصور التضمينات عالية الأبعاد ومساحات الميزات المتعلمة في ثنائية أو ثلاثية الأبعاد.
  • استكشاف بنية التجمعات في بيانات الخلية الواحدة أو التعبير الجيني.
  • فحص تمثيلات ميزات الصور أو النصوص من النماذج العميقة.
  • تحليل استكشافي للجوار قبل التجميع أو التصنيف الكمي.

كيف يعمل

كيف يعمل

1

لكل زوج من النقاط في الفضاء الأصلي عالي الأبعاد، تقوم t-SNE بتحويل مسافتها إلى احتمال شرطي لاختيار إحداهما كجار للأخرى، باستخدام نواة غاوسية. يتم تعيين عرض هذه النواة لكل نقطة بحيث يتطابق العدد الفعال للجيران مع الحيرة المختارة (عادةً 5-50)، والتي تتحكم في التوازن بين البنية المحلية والعالمية.

الصيغة
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

تحصل كل نقطة على موضع في الخريطة منخفضة الأبعاد، ويتم قياس التشابهات الزوجية هناك باستخدام توزيع t-Student ذي الذيل الثقيل بدلاً من توزيع غاوسي. تمنح الذيول الثقيلة النقاط البعيدة مساحة للانتشار، مما يمنع سحق كل شيء في المركز - 'مشكلة الازدحام' التي عانت منها الطرق السابقة.

الصيغة
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

تقوم t-SNE بتحريك النقاط منخفضة الأبعاد عن طريق الانحدار التدريجي لتقليل تباعد كولباك-لايبلر بين احتمالات الجوار عالية الأبعاد وتلك منخفضة الأبعاد. مع انخفاض هذه التكلفة، تأتي بنية الجوار في الخريطة لتتوافق مع بنية البيانات الأصلية، مما ينتج عنه التخطيط النهائي المتجمع.

الصيغة
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

الأخطاء الشائعة

  • قراءة أحجام التجمعات أو المسافات بين التجمعات كما لو كانت ذات مغزى - فهي ليست كذلك.
  • تخطي توحيد الميزات قبل تشغيل التضمين.
  • اختيار حيرة واحدة وعدم التحقق أبدًا من الاستقرار عبر القيم الأخرى.
  • استخلاص استنتاجات كمية من أداة مخصصة فقط للاستكشاف البصري.
  • تشغيل t-SNE على أقل من ~50 ملاحظة، حيث تصبح الخريطة عشوائية ومضللة.

الأسئلة الشائعة

ماذا تتحكم الحيرة؟

تحدد الحيرة العدد الفعال للجيران الذين تعتبرهم كل نقطة، مما يوازن بين الاهتمام بالبنية المحلية مقابل البنية الأوسع. القيم النموذجية هي 5-50، مع قاعدة عامة حوالي n/10؛ من الحكمة تجربة عدة قيم والتحقق من أن البنية المرئية مستقرة.

هل يمكنني قراءة أحجام التجمعات والمسافات من رسم بياني لـ t-SNE؟

لا. تحافظ t-SNE على الأحياء المحلية ولكن ليس الهندسة العالمية، لذا فإن حجم التجمع والفجوات بين التجمعات ليست ذات مغزى كمي. استخدم الرسم البياني لتحديد التجميع، وليس لقياسه.

كيف تختلف t-SNE عن PCA؟

PCA هو إسقاط خطي على اتجاهات التباين الأقصى ويحافظ على البنية العالمية، بينما t-SNE هي طريقة غير خطية تحافظ على الأحياء المحلية وتتفوق في الكشف عن التجمعات. إنهما متكاملان؛ غالبًا ما يستخدم PCA كخطوة معالجة مسبقة قبل t-SNE.

هل يجب أن أستخدم t-SNE أم UMAP؟

كلاهما طرق تصور غير خطية. t-SNE هو معيار طويل الأمد للبنية المحلية، بينما UMAP أسرع على مجموعات البيانات الكبيرة ويميل إلى الحفاظ على بنية عالمية أكبر، لذا فهو الخيار الأفضل عندما يكون حجم البيانات مرتفعًا.

طرق ذات صلة

المصادر

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    افتح مرجع المنشور
    تم النسخ.