BERTopic — การสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียม
- ผู้เสนอ
- Maarten Grootendorst
- ปี
- 2022
- ประเภท
- Neural topic-modeling pipeline
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
BERTopic คือกระบวนการสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียมที่ Maarten Grootendorst นำเสนอในปี 2022 โดยเป็นการรวมกันของการฝังบริบทแบบ BERT เข้ากับการลดมิติด้วย UMAP และการจัดกลุ่มด้วย HDBSCAN เพื่อสร้างหัวข้อที่มีความสอดคล้องกันและเปลี่ยนแปลงได้ ซึ่งให้ความสอดคล้องของหัวข้อสูงกว่าแบบจำลองหัวข้อแบบดั้งเดิม
แนวคิดเบื้องหลังวิธีการ
แบบจำลองหัวข้อแบบดั้งเดิมจะมองเอกสารเป็นเพียงถุงคำ และไม่ค่อยสามารถจับความหมายของคำในบริบทได้ แต่ BERTopic เริ่มต้นจากการฝังบริบท ดังนั้นเอกสารที่พูดถึงสิ่งเดียวกันด้วยคำที่ต่างกันจะอยู่ใกล้กัน มันจะจัดกลุ่มเอกสารที่อยู่ใกล้กันเหล่านั้นเป็นคลัสเตอร์ แล้วอ่านคำที่ทำให้แต่ละคลัสเตอร์มีความโดดเด่น ซึ่งคำที่โดดเด่นเหล่านั้นจะกลายเป็นหัวข้อ ผลลัพธ์ที่ได้คือชุดของธีมที่มนุษย์อ่านเข้าใจได้ ซึ่งเกิดจากความหมายของข้อความมากกว่าจากการนับคำดิบๆ
ประวัติศาสตร์
BERTopic ถูกนำเสนอโดย Maarten Grootendorst ในปี 2022 ในฐานะแนวทางการสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียมที่จับคู่การฝังแบบหม้อแปลงไฟฟ้าเข้ากับกระบวนการ TF-IDF แบบอิงคลาส โดยอาศัยอัลกอริทึมการจัดกลุ่มตามความหนาแน่น HDBSCAN ของ McInnes, Healy และ Astels (2017) สำหรับขั้นตอนการจัดกลุ่ม ซึ่งเป็นการย้ายการสร้างแบบจำลองหัวข้อออกจากวิธีการที่อิงการนับอย่างเดียวไปสู่หัวข้อที่ขับเคลื่อนด้วยการฝังและเน้นความสอดคล้อง
ควรใช้เมื่อใด
ใช้ BERTopic เมื่อคุณมีคลังข้อความและต้องการค้นหาธีมพื้นฐานโดยไม่ต้องระบุล่วงหน้า เหมาะสำหรับงานสำรวจและพรรณนาเกี่ยวกับข้อความแบบภาคตัดขวางหรือตามยาว จำเป็นต้องมีเอกสารจำนวนเพียงพอ — อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ — และควรใช้ GPU หรือการประมวลผลสูง เนื่องจากขั้นตอนการฝังมีค่าใช้จ่ายสูง หากมีเอกสารน้อยเกินไป การจัดกลุ่มตามความหนาแน่นจะมีสัญญาณน้อยเกินไปที่จะสร้างหัวข้อที่เสถียร
ข้อจำกัดและข้อควรพิจารณา
- ต้องการเอกสารจำนวนเพียงพอ — อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ — เพื่อสร้างหัวข้อที่เสถียร
- ควรใช้ GPU หรือการประมวลผลสูง เนื่องจากขั้นตอนการฝังแบบหม้อแปลงไฟฟ้ามีค่าใช้จ่ายสูง
- ผลลัพธ์ขึ้นอยู่กับแบบจำลองการฝังและการตั้งค่า UMAP และ HDBSCAN ที่เลือก
- HDBSCAN จะปล่อยเอกสารบางฉบับไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ ดังนั้นเอกสารทุกฉบับจึงไม่ได้รับหัวข้อ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- สร้างขึ้นจากการฝังบริบท จึงสามารถจับความหมายที่แบบจำลองถุงคำพลาดไปได้
- สร้างหัวข้อที่สอดคล้องกันและตีความได้ โดยมีความสอดคล้องสูงกว่าแบบจำลองหัวข้อแบบดั้งเดิม
- รองรับการสร้างแบบจำลองหัวข้อแบบไดนามิก โดยติดตามว่าหัวข้อเปลี่ยนแปลงไปอย่างไรเมื่อเวลาผ่านไปในคลังข้อมูลที่มีการประทับเวลา
- แบบจำลองการฝังหลายภาษาช่วยให้กระบวนการเดียวกันนี้ทำงานได้กับหลายภาษา
การประยุกต์ใช้
- การค้นพบธีมในชุดเอกสารหรือรายงานขนาดใหญ่สำหรับการวิเคราะห์เชิงสำรวจ
- การติดตามว่าหัวข้อในคลังข้อมูลพัฒนาไปอย่างไรเมื่อเวลาผ่านไปในข้อความที่มีการประทับเวลา
- การสรุปคำตอบแบบปลายเปิดจากการสำรวจหรือบทวิจารณ์ให้เป็นธีมที่ตีความได้
- การจัดระเบียบข้อมูลทางวิทยาศาสตร์หรือโซเชียลมีเดียให้เป็นคลัสเตอร์หัวข้อที่สอดคล้องกันในหลายภาษา
วิธีการทำงาน
วิธีการทำงาน
เอกสารแต่ละฉบับจะถูกแปลงเป็นการฝังบริบทโดยใช้แบบจำลองหม้อแปลงไฟฟ้าแบบ BERT เนื่องจากการฝังจับความหมายในบริบท เอกสารที่แสดงแนวคิดเดียวกันด้วยถ้อยคำที่แตกต่างกันจะอยู่ใกล้กันในปริภูมิเวกเตอร์ แบบจำลองหลายภาษาช่วยให้กระบวนการเดียวกันนี้สามารถจัดการกับคลังข้อมูลในหลายภาษาได้
การฝังที่มีมิติสูงจะถูกฉายลงในปริภูมิที่มีมิติต่ำกว่าด้วย UMAP การลดมิตินี้ช่วยรักษาสภาพโครงสร้างของเพื่อนบ้านในท้องถิ่นไว้ ในขณะที่ทำให้ข้อมูลสามารถจัดการได้สำหรับขั้นตอนการจัดกลุ่มที่ตามมา ซึ่งมิติที่สูงอาจทำให้ความหนาแน่นเจือจางลง
HDBSCAN จัดกลุ่มการฝังที่ลดมิติแล้วให้เป็นคลัสเตอร์ตามความหนาแน่น เนื่องจากเป็นแบบอิงความหนาแน่น จึงสามารถค้นหาคลัสเตอร์ที่มีรูปร่างหลากหลาย และปล่อยเอกสารที่กระจัดกระจายอย่างแท้จริงไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ แทนที่จะบังคับให้เอกสารทุกฉบับอยู่ในหัวข้อใดหัวข้อหนึ่ง
สำหรับแต่ละคลัสเตอร์ คะแนน TF-IDF แบบอิงคลาสจะจัดอันดับคำศัพท์ที่โดดเด่นที่สุดของคลัสเตอร์นั้นๆ คำศัพท์ที่ได้อันดับสูงสุดจะกลายเป็นการแสดงหัวข้อ ทำให้ได้หัวข้อที่สอดคล้องกันและตีความได้ และในคลังข้อมูลที่มีการประทับเวลา จะได้หัวข้อที่เปลี่ยนแปลงได้ซึ่งสามารถติดตามได้ตลอดเวลา
ข้อผิดพลาดที่พบบ่อย
- การรันด้วยเอกสารน้อยเกินไปทำให้ขั้นตอนการจัดกลุ่มมีความหนาแน่นไม่เพียงพอที่จะสร้างหัวข้อที่มีความหมาย
- การเลือกแบบจำลองการฝังที่ไม่ตรงกับภาษาของคลังข้อมูลจะทำให้คุณภาพของหัวข้อลดลง ควรใช้แบบจำลองหลายภาษาหรือแบบจำลองที่เหมาะสมกับโดเมน
- การมองว่าเอกสารที่เป็นค่าผิดปกติ (ไม่ได้รับมอบหมาย) เป็นความล้มเหลว แทนที่จะเป็นพฤติกรรมที่คาดหวังของการจัดกลุ่มตามความหนาแน่น
- การอ่านหัวข้อจากคำศัพท์ TF-IDF แบบอิงคลาสโดยไม่ตรวจสอบเอกสารตัวแทน ซึ่งอาจนำไปสู่การตีความป้ายกำกับมากเกินไป
คำถามที่พบบ่อย
BERTopic แตกต่างจากแบบจำลองหัวข้อแบบดั้งเดิมเช่น LDA อย่างไร?
แบบจำลองคลาสสิกเช่น LDA ทำงานจากการนับคำและมุมมองแบบถุงคำของเอกสารแต่ละฉบับ BERTopic เริ่มต้นจากการฝังหม้อแปลงไฟฟ้าตามบริบท ลดมิติด้วย UMAP จัดกลุ่มด้วย HDBSCAN และติดป้ายกำกับแต่ละคลัสเตอร์ด้วยคำศัพท์ TF-IDF แบบอิงคลาส เนื่องจากสามารถจับความหมายในบริบทได้ จึงมักให้หัวข้อที่สอดคล้องกันและตีความได้มากกว่า
ฉันต้องมีเอกสารกี่ฉบับ?
อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ ขั้นตอนการจัดกลุ่มเป็นแบบอิงความหนาแน่น ดังนั้นหากมีเอกสารน้อยเกินไป จะมีสัญญาณไม่เพียงพอที่จะสร้างหัวข้อที่เสถียร
ทำไมเอกสารบางฉบับของฉันจึงไม่ถูกกำหนดให้เป็นหัวข้อใดๆ?
HDBSCAN เป็นอัลกอริทึมการจัดกลุ่มตามความหนาแน่น และจงใจปล่อยเอกสารที่กระจัดกระจายอย่างแท้จริงหรือไม่ปกติไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ แทนที่จะบังคับให้เข้าสู่หัวข้อใดหัวข้อหนึ่ง นี่เป็นพฤติกรรมที่คาดหวัง ไม่ใช่ข้อผิดพลาด
BERTopic สามารถจัดการกับข้อความที่ไม่ใช่ภาษาอังกฤษได้หรือไม่?
ได้ ด้วยการเลือกแบบจำลองการฝังหลายภาษา กระบวนการเดียวกันนี้สามารถประมวลผลคลังข้อมูลในหลายภาษาได้ การจับคู่แบบจำลองการฝังกับภาษาของคลังข้อมูลเป็นกุญแจสำคัญในการได้คุณภาพหัวข้อที่ดี
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วMcInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว