Skip to content
กลับไปยังผลการค้นหา

t-SNE

ผู้เสนอ
van der Maaten, L. & Hinton, G.
ปี
2008
ประเภท
Nonlinear dimensionality reduction (manifold visualization)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

t-SNE (t-Distributed Stochastic Neighbor Embedding) เป็นวิธีการลดมิติแบบไม่เชิงเส้นที่ Laurens van der Maaten และ Geoffrey Hinton นำเสนอในปี 2008 ซึ่งแมปข้อมูลมิติสูงไปยังปริภูมิ 2 มิติหรือ 3 มิติเพื่อการแสดงภาพ โดยจะรักษาความคล้ายคลึงในระดับท้องถิ่นเชิงความน่าจะเป็น ดังนั้นจุดที่อยู่ใกล้เคียงกันในปริภูมิเดิมจะยังคงอยู่ใกล้กัน เผยให้เห็นโครงสร้างกลุ่มและละแวกใกล้เคียง

แนวคิดเบื้องหลังวิธีการ

เมื่อข้อมูลอยู่ในปริมาณหลายสิบหรือหลายร้อยมิติ เราไม่สามารถมองเห็นได้โดยตรง t-SNE จะถามคำถามที่ง่ายกว่าสำหรับทุกคู่ของจุด: จุดหนึ่งมีแนวโน้มที่จะถูกเลือกให้เป็นเพื่อนบ้านของอีกจุดหนึ่งมากแค่ไหน? จากนั้นจึงจัดเรียงภาพ 2 มิติหรือ 3 มิติเพื่อให้ความน่าจะเป็นของเพื่อนบ้านเหล่านี้ถูกสร้างขึ้นใหม่ให้แม่นยำที่สุดเท่าที่จะเป็นไปได้ ผลลัพธ์ที่ได้คือแผนที่ซึ่งการสังเกตการณ์ที่เกี่ยวข้องกันอย่างใกล้ชิดจะรวมตัวกันเป็นกลุ่มที่มองเห็นได้ ทำให้สายตาจับกลุ่มที่มองไม่เห็นในตารางข้อมูลมิติสูงดิบได้

ประวัติศาสตร์

t-SNE ถูกนำเสนอโดย Laurens van der Maaten และ Geoffrey Hinton ในปี 2008 ในวารสาร Journal of Machine Learning Research โดยต่อยอดจาก Stochastic Neighbor Embedding ก่อนหน้านี้ โดยแทนที่ Gaussian low-dimensional kernel ด้วยการแจกแจงแบบ Student-t ที่มีหางหนาเพื่อแก้ปัญหา crowding มันได้กลายเป็นเครื่องมือมาตรฐานอย่างรวดเร็วสำหรับการแสดงภาพข้อมูลมิติสูงในสาขา machine learning, genomics และ neuroscience เมื่อเร็วๆ นี้ UMAP ได้กลายเป็นทางเลือกที่เร็วกว่าซึ่งมักจะรักษาโครงสร้างระดับโลกได้มากกว่า แต่ t-SNE ยังคงเป็นมาตรฐานอ้างอิงสำหรับการแสดงภาพเชิงสำรวจ

ควรใช้เมื่อใด

ใช้ t-SNE เพื่อแสดงภาพและสำรวจข้อมูลต่อเนื่องมิติสูง — การฝัง (embeddings), โปรไฟล์การแสดงออกของยีน, คุณลักษณะของรูปภาพ — เมื่อคุณต้องการเห็นโครงสร้างกลุ่มระดับท้องถิ่นใน 2 มิติหรือ 3 มิติ โดยมีข้อมูลอย่างน้อยประมาณ 50 รายการ เป็นเครื่องมือสำรวจด้วยภาพ: อ่านแผนที่เพื่อหารูปแบบการจัดกลุ่มและละแวกใกล้เคียง ไม่ใช่เพื่อการอนุมานเชิงปริมาณ ควรปรับคุณลักษณะให้เป็นมาตรฐานก่อน ปรับ perplexity (กฎทั่วไปคือประมาณ n/10, ภายใน 5–50) และตรวจสอบความเสถียรของค่า perplexity หลายค่า สำหรับชุดข้อมูลขนาดใหญ่มาก วิธีนี้จะช้า ดังนั้น UMAP จึงเป็นทางเลือกที่เร็วกว่า

ข้อจำกัดและข้อควรพิจารณา

  • สำหรับการแสดงภาพเท่านั้น — ระยะห่างและขนาดของกลุ่มในแผนที่ไม่มีความหมายเชิงปริมาณ ดังนั้นจึงไม่ควรทำการอนุมานทางสถิติใดๆ จากแผนที่
  • ช้าสำหรับชุดข้อมูลขนาดใหญ่; UMAP เป็นทางเลือกที่เร็วกว่า
  • ผลลัพธ์มีความสุ่มและขึ้นอยู่กับ perplexity อย่างมาก ดังนั้นการรันที่แตกต่างกันหรือการตั้งค่าที่แตกต่างกันอาจดูแตกต่างกัน
  • ในกลุ่มตัวอย่างขนาดเล็ก (n ต่ำกว่าประมาณ 50) การฝังจะไม่มีเสถียรภาพและไม่สามารถทำซ้ำได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ยอดเยี่ยมในการเปิดเผยโครงสร้างกลุ่มระดับท้องถิ่นและละแวกใกล้เคียงที่วิธีการเชิงเส้นมองข้าม
  • ไม่เชิงเส้น: สามารถจับโครงสร้างแมนิโฟลด์ที่โค้งงอซึ่ง PCA ไม่สามารถทำได้
  • สร้างแผนที่ 2 มิติ/3 มิติที่เข้าใจง่าย ทำให้การจัดกลุ่มมิติสูงมองเห็นได้ทันที
  • Kernel แบบ Student-t ที่มีหางหนาหลีกเลี่ยงปัญหา crowding ทำให้กลุ่มต่างๆ แยกออกจากกันได้ดี

การประยุกต์ใช้

  • การแสดงภาพการฝังมิติสูงและปริภูมิคุณลักษณะที่เรียนรู้ใน 2 มิติหรือ 3 มิติ
  • การสำรวจโครงสร้างกลุ่มในข้อมูลเซลล์เดี่ยวหรือข้อมูลการแสดงออกของยีน
  • การตรวจสอบการแสดงคุณลักษณะของรูปภาพหรือข้อความจากโมเดลเชิงลึก
  • การวิเคราะห์ละแวกใกล้เคียงเชิงสำรวจก่อนการจัดกลุ่มหรือการจำแนกประเภทเชิงปริมาณ

วิธีการทำงาน

วิธีการทำงาน

1

สำหรับแต่ละคู่ของจุดในปริภูมิเดิมมิติสูง t-SNE จะแปลงระยะห่างให้เป็นความน่าจะเป็นแบบมีเงื่อนไขว่าจุดหนึ่งจะเลือกอีกจุดหนึ่งเป็นเพื่อนบ้าน โดยใช้ Gaussian kernel ความกว้างของ kernel นี้จะถูกตั้งค่าต่อจุดเพื่อให้จำนวนเพื่อนบ้านที่มีประสิทธิภาพตรงกับ perplexity ที่เลือก (โดยทั่วไปคือ 5–50) ซึ่งควบคุมความสมดุลระหว่างโครงสร้างระดับท้องถิ่นและระดับโลก

สูตร
p_{j|i} = \frac{\exp(-\lVert x_i - x_j \rVert^2 / 2\sigma_i^2)}{\sum_{k \neq i}\exp(-\lVert x_i - x_k \rVert^2 / 2\sigma_i^2)}
2

แต่ละจุดจะได้รับตำแหน่งในแผนที่มิติต่ำ และความคล้ายคลึงระหว่างจุดจะวัดด้วยการแจกแจงแบบ Student-t ที่มีหางหนา แทนที่จะเป็นการแจกแจงแบบ Gaussian หางที่หนานี้จะให้พื้นที่แก่จุดที่อยู่ห่างไกลกันในการกระจายตัวออกไป ซึ่งป้องกันไม่ให้ทุกอย่างถูกบีบอัดเข้าสู่ศูนย์กลาง — ปัญหา 'crowding problem' ที่วิธีการก่อนหน้านี้ประสบ

สูตร
q_{ij} = \frac{(1 + \lVert y_i - y_j \rVert^2)^{-1}}{\sum_{k \neq l}(1 + \lVert y_k - y_l \rVert^2)^{-1}}
3

t-SNE จะย้ายจุดในปริภูมิตำ่มิติโดยใช้ gradient descent เพื่อลด Kullback–Leibler divergence ระหว่างความน่าจะเป็นของเพื่อนบ้านในมิติสูงและในมิติต่ำ เมื่อต้นทุนนี้ลดลง โครงสร้างละแวกใกล้เคียงของแผนที่จะตรงกับข้อมูลต้นฉบับ ทำให้เกิดการจัดวางแบบกลุ่มสุดท้าย

สูตร
C = \mathrm{KL}(P \,\Vert\, Q) = \sum_{i \neq j} p_{ij} \log \frac{p_{ij}}{q_{ij}}

ข้อผิดพลาดที่พบบ่อย

  • การอ่านขนาดกลุ่มหรือระยะห่างระหว่างกลุ่มเสมือนว่ามีความหมาย — ซึ่งไม่เป็นเช่นนั้น
  • การละเว้นการปรับคุณลักษณะให้เป็นมาตรฐานก่อนทำการฝัง
  • การเลือกค่า perplexity เพียงค่าเดียวและไม่เคยตรวจสอบความเสถียรของค่าอื่นๆ
  • การสรุปผลเชิงปริมาณจากเครื่องมือที่ออกแบบมาเพื่อการสำรวจด้วยภาพเท่านั้น
  • การรัน t-SNE กับข้อมูลน้อยกว่า ~50 รายการ ซึ่งแผนที่จะมีความสุ่มและทำให้เข้าใจผิด

คำถามที่พบบ่อย

Perplexity ควบคุมอะไร?

Perplexity กำหนดจำนวนเพื่อนบ้านที่มีประสิทธิภาพที่แต่ละจุดพิจารณา โดยสมดุลความสนใจระหว่างโครงสร้างระดับท้องถิ่นกับโครงสร้างที่กว้างกว่า ค่าทั่วไปคือ 5–50 โดยมีกฎทั่วไปประมาณ n/10 การลองหลายค่าและตรวจสอบว่าโครงสร้างที่มองเห็นมีความเสถียรเป็นสิ่งที่ดี

ฉันสามารถอ่านขนาดกลุ่มและระยะห่างจากพล็อต t-SNE ได้หรือไม่?

ไม่ได้ t-SNE รักษาละแวกใกล้เคียงระดับท้องถิ่น แต่ไม่รักษากลุ่มเรขาคณิตระดับโลก ดังนั้นขนาดของกลุ่มและช่องว่างระหว่างกลุ่มจึงไม่มีความหมายเชิงปริมาณ ใช้พล็อตเพื่อระบุการจัดกลุ่ม ไม่ใช่เพื่อวัดขนาด

t-SNE แตกต่างจาก PCA อย่างไร?

PCA เป็นการฉายเชิงเส้นบนทิศทางที่มีความแปรปรวนสูงสุดและรักษาสภาพโครงสร้างระดับโลก ในขณะที่ t-SNE เป็นวิธีการไม่เชิงเส้นที่รักษาละแวกใกล้เคียงระดับท้องถิ่นและยอดเยี่ยมในการเปิดเผยกลุ่ม ทั้งสองวิธีเสริมกัน PCA มักใช้เป็นขั้นตอนการประมวลผลล่วงหน้าก่อน t-SNE

ฉันควรใช้ t-SNE หรือ UMAP?

ทั้งสองเป็นวิธีการแสดงภาพแบบไม่เชิงเส้น t-SNE เป็นมาตรฐานที่ใช้มานานสำหรับโครงสร้างระดับท้องถิ่น ในขณะที่ UMAP เร็วกว่าสำหรับชุดข้อมูลขนาดใหญ่และมีแนวโน้มที่จะรักษาสภาพโครงสร้างระดับโลกได้มากกว่า ดังนั้นจึงเป็นตัวเลือกที่ดีกว่าเมื่อปริมาณข้อมูลมีสูง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9(86), 2579–2605.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว