การจัดกลุ่มแบบลำดับชั้น
- ผู้เสนอ
- Ward, J. H.
- ปี
- 1963
- ประเภท
- Unsupervised clustering (agglomerative)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การจัดกลุ่มแบบลำดับชั้น (Hierarchical clustering) เป็นวิธีการแบบไม่มีผู้สอน (unsupervised method) ที่จัดกลุ่มการสังเกต (observations) ออกเป็นกลุ่มย่อยๆ ที่ซ้อนกันเป็นชั้นๆ และแสดงผลลัพธ์เป็นแผนภาพต้นไม้ (dendrogram) ดังนั้นจึงไม่จำเป็นต้องกำหนดจำนวนกลุ่มล่วงหน้า รูปแบบการรวมกลุ่มแบบเพิ่มพูน (agglomerative form) อาศัยเกณฑ์การจัดกลุ่มตามฟังก์ชันวัตถุประสงค์ (objective-function grouping criterion) ที่นำเสนอโดย Joe Ward ในปี 1963
แนวคิดเบื้องหลังวิธีการ
ลองนึกภาพว่าการสังเกตแต่ละรายการเริ่มต้นด้วยการเป็นกลุ่มเล็กๆ ของตัวเอง ในแต่ละขั้นตอน กลุ่มสองกลุ่มที่มีความคล้ายคลึงกันมากที่สุดจะถูกรวมเข้าด้วยกัน จากนั้นก็กลุ่มถัดไปเรื่อยๆ จนกระทั่งทุกอย่างรวมกันเป็นโครงสร้างต้นไม้เดียว การตัดต้นไม้นี้ที่ระดับความสูงต่างกันจะให้จำนวนกลุ่มที่แตกต่างกัน ดังนั้นคุณจึงสามารถตัดสินใจได้ว่าจะแบ่งข้อมูลละเอียดแค่ไหนหลังจากเห็นโครงสร้าง แทนที่จะกำหนดจำนวนที่แน่นอนล่วงหน้า
ประวัติศาสตร์
รูปแบบการรวมกลุ่มแบบเพิ่มพูนของการจัดกลุ่มแบบลำดับชั้นได้รับการวางรากฐานอย่างเป็นทางการโดย Joe H. Ward ในปี 1963 ผู้ซึ่งกำหนดการรวมกลุ่มเป็นการหาค่าที่เหมาะสมที่สุดของฟังก์ชันวัตถุประสงค์ — โดยลดการเพิ่มขึ้นของความแปรปรวนภายในกลุ่ม (within-group variance) ในแต่ละการรวมกลุ่ม วิธีการเชื่อมโยงของ Ward ยังคงเป็นหนึ่งในเกณฑ์ที่ใช้กันอย่างแพร่หลายที่สุด และแผนภาพต้นไม้ที่ได้เป็นเครื่องมือสำรวจมาตรฐานในสาขาวิทยาศาสตร์สังคม สุขภาพ และธุรกิจ
ควรใช้เมื่อใด
ใช้สำหรับการจัดกลุ่มเชิงสำรวจ (exploratory grouping) เมื่อคุณต้องการค้นพบโครงสร้างโดยไม่ต้องกำหนดจำนวนกลุ่มล่วงหน้า สำหรับคุณลักษณะแบบต่อเนื่อง แบบอันดับ หรือแบบจำแนกประเภท โดยมีการสังเกตอย่างน้อยประมาณ 10 รายการ วิธีการนี้มีข้อสมมติฐานน้อย แต่ขึ้นอยู่กับการเลือกสองอย่าง: เมตริกวัดระยะทางที่เหมาะสม และวิธีการเชื่อมโยงที่เหมาะสม สำหรับการสังเกตน้อยกว่าประมาณ 10 รายการ เมทริกซ์ระยะห่างจะไม่น่าเชื่อถือ และแผนภาพต้นไม้ไม่สามารถแสดงโครงสร้างที่มีความหมายได้ ดังนั้น K-means จึงเป็นทางเลือกที่ปลอดภัยกว่า สำหรับกลุ่มตัวอย่างที่เล็กมาก ผลลัพธ์จะไวต่อวิธีการเชื่อมโยงมากเกินไป และสมาชิกกลุ่มจะไม่เสถียร
ข้อจำกัดและข้อควรพิจารณา
- ผลลัพธ์ขึ้นอยู่กับเมตริกวัดระยะทางและวิธีการเชื่อมโยงที่เลือกอย่างมาก ซึ่งเป็นการตัดสินใจของผู้ใช้
- ในกลุ่มตัวอย่างขนาดเล็ก สมาชิกกลุ่มจะไม่เสถียรและไวต่อวิธีการเชื่อมโยงมากเกินไป
- เมื่อมีการสังเกตน้อยกว่าประมาณ 10 รายการ เมทริกซ์ระยะห่างจะไม่น่าเชื่อถือ และแผนภาพต้นไม้ไม่แสดงโครงสร้างที่มีความหมาย
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ไม่จำเป็นต้องกำหนดจำนวนกลุ่มล่วงหน้า — คุณสามารถอ่านได้จากแผนภาพต้นไม้
- แผนภาพต้นไม้ให้แผนที่ภาพที่ตีความได้ง่ายว่ากลุ่มต่างๆ ซ้อนกันอย่างไรในระดับความคล้ายคลึงที่แตกต่างกัน
- มีข้อสมมติฐานน้อย: ไม่ต้องการข้อสมมติฐานเรื่องการแจกแจงปกติ (normality) และสามารถรองรับคุณลักษณะแบบต่อเนื่อง แบบอันดับ และแบบจำแนกประเภทผ่านการเลือกใช้ระยะห่าง
- ทำงานเป็นเครื่องมือสำรวจเพื่อเปิดเผยโครงสร้างก่อนที่จะกำหนดพาร์ติชัน (partition)
การประยุกต์ใช้
- การแบ่งกลุ่มเชิงสำรวจของการสังเกตเมื่อไม่ทราบจำนวนกลุ่ม
- การสร้างแผนภาพต้นไม้เพื่อแสดงภาพว่ากรณีต่างๆ ซ้อนกันอย่างไรในระดับความคล้ายคลึงที่แตกต่างกัน
- การจัดกลุ่มผู้ตอบแบบสอบถาม กลุ่มตัวอย่าง หรือหน่วยต่างๆ บนคุณลักษณะแบบผสมทั้งแบบต่อเนื่อง แบบอันดับ และแบบจำแนกประเภท
- การสร้างจำนวนกลุ่มที่เป็นไปได้เพื่อใช้เป็นข้อมูลสำหรับวิธีการแบ่งพาร์ติชันในภายหลัง
วิธีการทำงาน
วิธีการทำงาน
ขั้นแรก คำนวณระยะห่างระหว่างคู่การสังเกตทุกคู่โดยใช้เมตริกวัดระยะทาง (distance metric) ที่เลือก ซึ่งจะสร้างเมทริกซ์ระยะห่าง (distance matrix) การเลือกเมตริกมีความสำคัญ เพราะมันกำหนดว่าอะไรถือว่า 'คล้ายคลึงกัน' และคุณลักษณะแบบต่อเนื่อง (continuous), แบบอันดับ (ordinal), และแบบจำแนกประเภท (categorical) อาจต้องการนิยามระยะห่างที่แตกต่างกัน
เริ่มต้นจากแต่ละการสังเกตเป็นกลุ่มของตัวเอง อัลกอริทึมจะรวมกลุ่มสองกลุ่มที่ใกล้ที่สุดเข้าด้วยกันซ้ำๆ ตามวิธีการเชื่อมโยง (linkage method) ที่เลือก ตัวอย่างเช่น เกณฑ์ของ Ward จะรวมคู่ที่ทำให้เกิดการเพิ่มขึ้นน้อยที่สุดของผลรวมกำลังสองภายในกลุ่ม (within-cluster sum of squares) โดยทำให้กลุ่มที่ได้มีความกระชับมากที่สุดเท่าที่จะเป็นไปได้ การเลือกวิธีการเชื่อมโยงมีผลอย่างมากต่อการจัดกลุ่มสุดท้าย
สูตร
\Delta(A,B) = \sum_{i \in A \cup B} \lVert x_i - m_{A \cup B}\rVert^2 - \sum_{i \in A}\lVert x_i - m_A\rVert^2 - \sum_{i \in B}\lVert x_i - m_B\rVert^2ลำดับของการรวมกลุ่มจะถูกบันทึกเป็นแผนภาพต้นไม้ (dendrogram) ซึ่งความสูงของกิ่งแสดงถึงระยะห่างที่กลุ่มต่างๆ เข้าร่วมกัน การตัดแผนภาพต้นไม้ที่ระดับความสูงที่เลือกจะให้การกำหนดกลุ่ม ดังนั้นจำนวนกลุ่มจะถูกอ่านจากแผนภาพต้นไม้ แทนที่จะระบุไว้ล่วงหน้า
ข้อผิดพลาดที่พบบ่อย
- การรันบนการสังเกตน้อยกว่าประมาณ 10 รายการ ซึ่งเมทริกซ์ระยะห่างและแผนภาพต้นไม้ไม่น่าเชื่อถือ
- การเลือกเมตริกวัดระยะทางและวิธีการเชื่อมโยงโดยไม่มีเหตุผล และถือว่าผลลัพธ์นั้นแน่นอน
- การเชื่อมั่นในสมาชิกกลุ่มที่ไม่เสถียรในกลุ่มตัวอย่างขนาดเล็ก แทนที่จะเปลี่ยนไปใช้ K-means หรือ Gaussian mixture
- การบังคับกำหนดจำนวนกลุ่มที่แน่นอนก่อนที่จะตรวจสอบจุดตัดตามธรรมชาติของแผนภาพต้นไม้
คำถามที่พบบ่อย
ฉันต้องเลือกจำนวนกลุ่มก่อนหรือไม่?
ไม่ การจัดกลุ่มแบบลำดับชั้นจะสร้างแผนภาพต้นไม้แบบสมบูรณ์โดยไม่คำนึงถึงเรื่องนี้ และคุณจะเป็นผู้ตัดสินใจเลือกจำนวนกลุ่มในภายหลังโดยการตัดแผนภาพต้นไม้ที่ระดับความสูงที่เลือก — นั่นเป็นข้อได้เปรียบหลักอย่างหนึ่งเมื่อเทียบกับวิธีการอย่าง K-means
ฉันควรใช้เมตริกวัดระยะทางและวิธีการเชื่อมโยงแบบใด?
ทั้งสองอย่างเป็นการเลือกโดยเจตนาซึ่งมีผลอย่างมากต่อผลลัพธ์ เมตริกวัดระยะทางควรตรงกับประเภทของคุณลักษณะ และวิธีการเชื่อมโยงของ Ward เป็นค่าเริ่มต้นทั่วไปเพราะช่วยให้กลุ่มมีความกระชับโดยการลดการเพิ่มขึ้นของความแปรปรวนภายในกลุ่มในแต่ละการรวมกลุ่ม
ฉันต้องการการสังเกตกี่รายการ?
อย่างน้อยประมาณ 10 รายการ ต่ำกว่านั้น เมทริกซ์ระยะห่างจะไม่น่าเชื่อถือ และแผนภาพต้นไม้ไม่สามารถแสดงโครงสร้างที่มีความหมายได้ ดังนั้น K-means จึงเป็นทางเลือกที่ปลอดภัยกว่า
ทำไมกลุ่มของฉันจึงไม่เสถียร?
ในกลุ่มตัวอย่างขนาดเล็ก ผลลัพธ์จะไวต่อวิธีการเชื่อมโยงมากเกินไป ดังนั้นสมาชิกกลุ่มจึงเปลี่ยนแปลงไปตามการเปลี่ยนแปลงเล็กน้อย ในสถานการณ์เช่นนี้ ให้พิจารณา K-means หรือ Gaussian mixture model แทน
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Ward, J. H. (1963). Hierarchical Grouping to Optimize an Objective Function. Journal of the American Statistical Association, 58(301), 236–244.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว