Skip to content
กลับไปยังผลการค้นหา

BERTopic — การสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียม

ผู้เสนอ
Maarten Grootendorst
ปี
2022
ประเภท
Neural topic-modeling pipeline

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

BERTopic คือกระบวนการสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียมที่ Maarten Grootendorst นำเสนอในปี 2022 โดยเป็นการรวมกันของการฝังบริบทแบบ BERT เข้ากับการลดมิติด้วย UMAP และการจัดกลุ่มด้วย HDBSCAN เพื่อสร้างหัวข้อที่มีความสอดคล้องกันและเปลี่ยนแปลงได้ ซึ่งให้ความสอดคล้องของหัวข้อสูงกว่าแบบจำลองหัวข้อแบบดั้งเดิม

แนวคิดเบื้องหลังวิธีการ

แบบจำลองหัวข้อแบบดั้งเดิมจะมองเอกสารเป็นเพียงถุงคำ และไม่ค่อยสามารถจับความหมายของคำในบริบทได้ แต่ BERTopic เริ่มต้นจากการฝังบริบท ดังนั้นเอกสารที่พูดถึงสิ่งเดียวกันด้วยคำที่ต่างกันจะอยู่ใกล้กัน มันจะจัดกลุ่มเอกสารที่อยู่ใกล้กันเหล่านั้นเป็นคลัสเตอร์ แล้วอ่านคำที่ทำให้แต่ละคลัสเตอร์มีความโดดเด่น ซึ่งคำที่โดดเด่นเหล่านั้นจะกลายเป็นหัวข้อ ผลลัพธ์ที่ได้คือชุดของธีมที่มนุษย์อ่านเข้าใจได้ ซึ่งเกิดจากความหมายของข้อความมากกว่าจากการนับคำดิบๆ

ประวัติศาสตร์

BERTopic ถูกนำเสนอโดย Maarten Grootendorst ในปี 2022 ในฐานะแนวทางการสร้างแบบจำลองหัวข้อด้วยโครงข่ายประสาทเทียมที่จับคู่การฝังแบบหม้อแปลงไฟฟ้าเข้ากับกระบวนการ TF-IDF แบบอิงคลาส โดยอาศัยอัลกอริทึมการจัดกลุ่มตามความหนาแน่น HDBSCAN ของ McInnes, Healy และ Astels (2017) สำหรับขั้นตอนการจัดกลุ่ม ซึ่งเป็นการย้ายการสร้างแบบจำลองหัวข้อออกจากวิธีการที่อิงการนับอย่างเดียวไปสู่หัวข้อที่ขับเคลื่อนด้วยการฝังและเน้นความสอดคล้อง

ควรใช้เมื่อใด

ใช้ BERTopic เมื่อคุณมีคลังข้อความและต้องการค้นหาธีมพื้นฐานโดยไม่ต้องระบุล่วงหน้า เหมาะสำหรับงานสำรวจและพรรณนาเกี่ยวกับข้อความแบบภาคตัดขวางหรือตามยาว จำเป็นต้องมีเอกสารจำนวนเพียงพอ — อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ — และควรใช้ GPU หรือการประมวลผลสูง เนื่องจากขั้นตอนการฝังมีค่าใช้จ่ายสูง หากมีเอกสารน้อยเกินไป การจัดกลุ่มตามความหนาแน่นจะมีสัญญาณน้อยเกินไปที่จะสร้างหัวข้อที่เสถียร

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการเอกสารจำนวนเพียงพอ — อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ — เพื่อสร้างหัวข้อที่เสถียร
  • ควรใช้ GPU หรือการประมวลผลสูง เนื่องจากขั้นตอนการฝังแบบหม้อแปลงไฟฟ้ามีค่าใช้จ่ายสูง
  • ผลลัพธ์ขึ้นอยู่กับแบบจำลองการฝังและการตั้งค่า UMAP และ HDBSCAN ที่เลือก
  • HDBSCAN จะปล่อยเอกสารบางฉบับไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ ดังนั้นเอกสารทุกฉบับจึงไม่ได้รับหัวข้อ

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • สร้างขึ้นจากการฝังบริบท จึงสามารถจับความหมายที่แบบจำลองถุงคำพลาดไปได้
  • สร้างหัวข้อที่สอดคล้องกันและตีความได้ โดยมีความสอดคล้องสูงกว่าแบบจำลองหัวข้อแบบดั้งเดิม
  • รองรับการสร้างแบบจำลองหัวข้อแบบไดนามิก โดยติดตามว่าหัวข้อเปลี่ยนแปลงไปอย่างไรเมื่อเวลาผ่านไปในคลังข้อมูลที่มีการประทับเวลา
  • แบบจำลองการฝังหลายภาษาช่วยให้กระบวนการเดียวกันนี้ทำงานได้กับหลายภาษา

การประยุกต์ใช้

  • การค้นพบธีมในชุดเอกสารหรือรายงานขนาดใหญ่สำหรับการวิเคราะห์เชิงสำรวจ
  • การติดตามว่าหัวข้อในคลังข้อมูลพัฒนาไปอย่างไรเมื่อเวลาผ่านไปในข้อความที่มีการประทับเวลา
  • การสรุปคำตอบแบบปลายเปิดจากการสำรวจหรือบทวิจารณ์ให้เป็นธีมที่ตีความได้
  • การจัดระเบียบข้อมูลทางวิทยาศาสตร์หรือโซเชียลมีเดียให้เป็นคลัสเตอร์หัวข้อที่สอดคล้องกันในหลายภาษา

วิธีการทำงาน

วิธีการทำงาน

1

เอกสารแต่ละฉบับจะถูกแปลงเป็นการฝังบริบทโดยใช้แบบจำลองหม้อแปลงไฟฟ้าแบบ BERT เนื่องจากการฝังจับความหมายในบริบท เอกสารที่แสดงแนวคิดเดียวกันด้วยถ้อยคำที่แตกต่างกันจะอยู่ใกล้กันในปริภูมิเวกเตอร์ แบบจำลองหลายภาษาช่วยให้กระบวนการเดียวกันนี้สามารถจัดการกับคลังข้อมูลในหลายภาษาได้

2

การฝังที่มีมิติสูงจะถูกฉายลงในปริภูมิที่มีมิติต่ำกว่าด้วย UMAP การลดมิตินี้ช่วยรักษาสภาพโครงสร้างของเพื่อนบ้านในท้องถิ่นไว้ ในขณะที่ทำให้ข้อมูลสามารถจัดการได้สำหรับขั้นตอนการจัดกลุ่มที่ตามมา ซึ่งมิติที่สูงอาจทำให้ความหนาแน่นเจือจางลง

3

HDBSCAN จัดกลุ่มการฝังที่ลดมิติแล้วให้เป็นคลัสเตอร์ตามความหนาแน่น เนื่องจากเป็นแบบอิงความหนาแน่น จึงสามารถค้นหาคลัสเตอร์ที่มีรูปร่างหลากหลาย และปล่อยเอกสารที่กระจัดกระจายอย่างแท้จริงไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ แทนที่จะบังคับให้เอกสารทุกฉบับอยู่ในหัวข้อใดหัวข้อหนึ่ง

4

สำหรับแต่ละคลัสเตอร์ คะแนน TF-IDF แบบอิงคลาสจะจัดอันดับคำศัพท์ที่โดดเด่นที่สุดของคลัสเตอร์นั้นๆ คำศัพท์ที่ได้อันดับสูงสุดจะกลายเป็นการแสดงหัวข้อ ทำให้ได้หัวข้อที่สอดคล้องกันและตีความได้ และในคลังข้อมูลที่มีการประทับเวลา จะได้หัวข้อที่เปลี่ยนแปลงได้ซึ่งสามารถติดตามได้ตลอดเวลา

ข้อผิดพลาดที่พบบ่อย

  • การรันด้วยเอกสารน้อยเกินไปทำให้ขั้นตอนการจัดกลุ่มมีความหนาแน่นไม่เพียงพอที่จะสร้างหัวข้อที่มีความหมาย
  • การเลือกแบบจำลองการฝังที่ไม่ตรงกับภาษาของคลังข้อมูลจะทำให้คุณภาพของหัวข้อลดลง ควรใช้แบบจำลองหลายภาษาหรือแบบจำลองที่เหมาะสมกับโดเมน
  • การมองว่าเอกสารที่เป็นค่าผิดปกติ (ไม่ได้รับมอบหมาย) เป็นความล้มเหลว แทนที่จะเป็นพฤติกรรมที่คาดหวังของการจัดกลุ่มตามความหนาแน่น
  • การอ่านหัวข้อจากคำศัพท์ TF-IDF แบบอิงคลาสโดยไม่ตรวจสอบเอกสารตัวแทน ซึ่งอาจนำไปสู่การตีความป้ายกำกับมากเกินไป

คำถามที่พบบ่อย

BERTopic แตกต่างจากแบบจำลองหัวข้อแบบดั้งเดิมเช่น LDA อย่างไร?

แบบจำลองคลาสสิกเช่น LDA ทำงานจากการนับคำและมุมมองแบบถุงคำของเอกสารแต่ละฉบับ BERTopic เริ่มต้นจากการฝังหม้อแปลงไฟฟ้าตามบริบท ลดมิติด้วย UMAP จัดกลุ่มด้วย HDBSCAN และติดป้ายกำกับแต่ละคลัสเตอร์ด้วยคำศัพท์ TF-IDF แบบอิงคลาส เนื่องจากสามารถจับความหมายในบริบทได้ จึงมักให้หัวข้อที่สอดคล้องกันและตีความได้มากกว่า

ฉันต้องมีเอกสารกี่ฉบับ?

อย่างน้อย 50 ฉบับ และแนะนำให้มีมากกว่า 100 ฉบับ ขั้นตอนการจัดกลุ่มเป็นแบบอิงความหนาแน่น ดังนั้นหากมีเอกสารน้อยเกินไป จะมีสัญญาณไม่เพียงพอที่จะสร้างหัวข้อที่เสถียร

ทำไมเอกสารบางฉบับของฉันจึงไม่ถูกกำหนดให้เป็นหัวข้อใดๆ?

HDBSCAN เป็นอัลกอริทึมการจัดกลุ่มตามความหนาแน่น และจงใจปล่อยเอกสารที่กระจัดกระจายอย่างแท้จริงหรือไม่ปกติไว้โดยไม่กำหนดให้เป็นค่าผิดปกติ แทนที่จะบังคับให้เข้าสู่หัวข้อใดหัวข้อหนึ่ง นี่เป็นพฤติกรรมที่คาดหวัง ไม่ใช่ข้อผิดพลาด

BERTopic สามารถจัดการกับข้อความที่ไม่ใช่ภาษาอังกฤษได้หรือไม่?

ได้ ด้วยการเลือกแบบจำลองการฝังหลายภาษา กระบวนการเดียวกันนี้สามารถประมวลผลคลังข้อมูลในหลายภาษาได้ การจับคู่แบบจำลองการฝังกับภาษาของคลังข้อมูลเป็นกุญแจสำคัญในการได้คุณภาพหัวข้อที่ดี

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว