Skip to content
กลับไปยังผลการค้นหา

TF-IDF — ความถี่ของคำศัพท์-ความถี่ผกผันของเอกสาร

ผู้เสนอ
Salton & Buckley
ปี
1988
ประเภท
Text vectorization / term-weighting scheme

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

TF-IDF ซึ่งนำเสนอโดย Salton และ Buckley (1988) เป็นรูปแบบการถ่วงน้ำหนักคำศัพท์ที่ให้คะแนนแต่ละคำในเอกสารตามความถี่ที่ปรากฏในเอกสารนั้นและความหายากของคำนั้นในคลังเอกสารทั้งหมด โดยแปลงข้อความดิบให้เป็นเวกเตอร์เอกสารที่มีน้ำหนัก โดยให้น้ำหนักสูงแก่คำศัพท์ที่พบบ่อยในเอกสารหนึ่งแต่ไม่ค่อยพบในเอกสารอื่น

แนวคิดเบื้องหลังวิธีการ

ไม่ใช่ทุกคำที่ปรากฏบ่อยจะให้ข้อมูล — คำอย่าง "the" ปรากฏอยู่ทุกหนทุกแห่งและบอกเราเพียงเล็กน้อยเกี่ยวกับเนื้อหาของเอกสาร TF-IDF จับแนวคิดที่ว่าคำศัพท์มีความสำคัญมากที่สุดเมื่อคำนั้นมีความถี่สูงภายในเอกสารเฉพาะ แต่หายากในคลังเอกสารส่วนที่เหลือ ด้วยการคูณความถี่ที่คำศัพท์ปรากฏในระดับท้องถิ่นด้วยระดับความโดดเด่นในระดับโลก รูปแบบนี้จะเน้นคำศัพท์ที่บ่งบอกลักษณะของแต่ละเอกสารอย่างแท้จริง และลดน้ำหนักของคำศัพท์ทั่วไป

ประวัติศาสตร์

TF-IDF เกิดจากงานการดึงข้อมูลของ Salton และ Buckley (1988) ซึ่งเปรียบเทียบวิธีการถ่วงน้ำหนักคำศัพท์สำหรับการดึงข้อความอัตโนมัติอย่างเป็นระบบ และได้กำหนดการรวมกันของความถี่คำศัพท์กับความถี่ผกผันของเอกสารให้เป็นรูปแบบการแสดงเอกสารที่มีประสิทธิภาพ กลายเป็นพื้นฐานสำคัญสำหรับการแปลงข้อความเป็นเวกเตอร์ และยังคงใช้กันอย่างแพร่หลายในฐานะการแสดงคุณลักษณะที่โปร่งใส

ควรใช้เมื่อใด

ใช้ TF-IDF เมื่อคุณมีคลังข้อความและต้องการแปลงเอกสารให้เป็นคุณลักษณะเชิงตัวเลขสำหรับการดึงข้อมูล การจำแนกประเภท หรือการเปรียบเทียบความคล้ายคลึงกัน โดยอาศัยข้อสมมติฐานแบบ bag-of-words และต้องการการประมวลผลข้อความล่วงหน้า คลังเอกสารควรมีขนาดค่อนข้างใหญ่ — หากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ น้ำหนัก IDF จะไม่เสถียร และการวิเคราะห์ความถี่คำศัพท์อย่างง่ายจะน่าเชื่อถือกว่า หากไม่มีข้อมูลข้อความเลย TF-IDF จะไม่สามารถคำนวณได้

ข้อจำกัดและข้อควรพิจารณา

  • อาศัยข้อสมมติฐานแบบ bag-of-words และไม่คำนึงถึงลำดับคำและบริบท
  • น้ำหนัก IDF จะไม่เสถียรและไม่มีความหมายในคลังเอกสารขนาดเล็กมาก
  • ต้องการการประมวลผลข้อความล่วงหน้าที่ระมัดระวัง โทเค็นที่มีสัญญาณรบกวนจะทำให้คุณภาพของน้ำหนักลดลง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ง่าย รวดเร็ว และตีความได้ — น้ำหนักแต่ละรายการสามารถตรวจสอบย้อนกลับไปยังความถี่ท้องถิ่นและความหายากทั่วโลกได้โดยตรง
  • แปลงข้อความดิบให้เป็นเวกเตอร์เอกสารเชิงตัวเลขที่สามารถนำไปใช้โดยวิธีการค้นหา การจำแนกประเภท และการจัดกลุ่ม
  • ลดน้ำหนักของคำศัพท์ที่แพร่หลายและไม่ให้ข้อมูล ในขณะที่เน้นคำศัพท์ที่แยกแยะเอกสาร

การประยุกต์ใช้

  • การแสดงเอกสารเป็นเวกเตอร์คุณลักษณะสำหรับการจำแนกประเภทข้อความ
  • การจัดอันดับและการดึงเอกสารในการใช้งานการค้นหา
  • การระบุคำหลักที่โดดเด่นที่สุดซึ่งบ่งบอกลักษณะของเอกสาร
  • การสร้างอินพุตสำหรับการจัดกลุ่มเอกสารและการเปรียบเทียบความคล้ายคลึงกัน

วิธีการทำงาน

วิธีการทำงาน

1

คลังข้อความจะถูกทำความสะอาดและแบ่งเป็นคำศัพท์ — ข้อความจะถูกทำให้เป็นมาตรฐานและแยกออกเป็นหน่วยคำที่จะถ่วงน้ำหนัก เนื่องจาก TF-IDF อาศัยข้อสมมติฐานแบบ bag-of-words การประมวลผลล่วงหน้าที่สอดคล้องกันในทุกเอกสารจึงทำให้การนับที่ได้สามารถเปรียบเทียบกันได้

2

สำหรับแต่ละเอกสาร ความถี่ของคำศัพท์ (TF) จะนับจำนวนครั้งที่แต่ละคำปรากฏในเอกสารนั้น คำศัพท์ที่ปรากฏหลายครั้งภายในเอกสารเดียวจะได้รับน้ำหนักท้องถิ่นที่สูงขึ้น ซึ่งสะท้อนถึงความสำคัญของคำนั้นต่อเนื้อหาของเอกสาร

3

ทั่วทั้งคลังเอกสาร ความถี่ผกผันของเอกสาร (IDF) จะวัดว่าคำศัพท์แต่ละคำหายากเพียงใด — คำศัพท์ที่ปรากฏในเอกสารหลายฉบับจะได้รับ IDF ต่ำ ในขณะที่คำศัพท์ที่จำกัดอยู่ในเอกสารเพียงไม่กี่ฉบับจะได้รับ IDF สูง นี่คือสิ่งที่ลดทอนคำศัพท์ที่แพร่หลายและไม่ให้ข้อมูล และให้รางวัลแก่คำศัพท์ที่โดดเด่น

4

ส่วนประกอบ TF และ IDF จะถูกรวมเข้าด้วยกันเป็นน้ำหนักเดียวต่อคำศัพท์ และแต่ละเอกสารจะกลายเป็นเวกเตอร์ของคะแนนที่มีน้ำหนักเหล่านี้ เวกเตอร์เอกสาร-คำศัพท์ที่ได้จะเป็นการแสดงผลที่งานปลายน้ำ — การค้นหา การจำแนกประเภท การจัดกลุ่ม — ใช้

ข้อผิดพลาดที่พบบ่อย

  • การรัน TF-IDF บนคลังเอกสารที่มีขนาดต่ำกว่าประมาณ 100 ฉบับ — น้ำหนัก IDF จะไม่มีความหมาย ดังนั้นควรเปลี่ยนไปใช้วิธีการวิเคราะห์ความถี่คำศัพท์อย่างง่ายแทน
  • การข้ามหรือการประมวลผลล่วงหน้าที่ไม่สอดคล้องกันในเอกสารต่างๆ ซึ่งทำให้การนับคำศัพท์ไม่สามารถเปรียบเทียบกันได้
  • การพยายามใช้ TF-IDF เมื่อไม่มีข้อมูลข้อความ — การเข้ารหัสเชิงหมวดหมู่กับการวิเคราะห์เนื้อหาเป็นแนวทางที่เหมาะสม
  • การคาดหวังให้ TF-IDF จับความหมายหรือบริบท: มันถ่วงน้ำหนักคำศัพท์ที่แยกจากกันและไม่สามารถสร้างแบบจำลองลำดับคำหรือความหมายได้

คำถามที่พบบ่อย

TF และ IDF แต่ละรายการวัดอะไร?

ความถี่ของคำศัพท์ (TF) วัดว่าคำศัพท์ปรากฏบ่อยเพียงใดภายในเอกสารเดียว ซึ่งจับความสำคัญในระดับท้องถิ่น ความถี่ผกผันของเอกสาร (IDF) วัดว่าคำศัพท์หายากเพียงใดทั่วทั้งคลังเอกสาร โดยลดน้ำหนักของคำศัพท์ที่ปรากฏในเอกสารหลายฉบับ การคูณค่าทั้งสองจะให้น้ำหนักสูงแก่คำศัพท์ที่พบบ่อยในเอกสารหนึ่งแต่ไม่ค่อยพบในเอกสารอื่น

คลังเอกสารของฉันต้องมีขนาดเท่าใด?

TF-IDF ต้องการคลังเอกสารที่มีขนาดค่อนข้างใหญ่ — ประมาณ 100 ฉบับขึ้นไป หากน้อยกว่านั้น น้ำหนัก IDF จะไม่เสถียรและสูญเสียความหมาย และการวิเคราะห์ความถี่คำศัพท์อย่างง่ายจะน่าเชื่อถือกว่า

TF-IDF เข้าใจความหมายหรือบริบทหรือไม่?

ไม่ TF-IDF อาศัยข้อสมมติฐานแบบ bag-of-words: มันถ่วงน้ำหนักคำศัพท์แต่ละคำตามความถี่และความหายาก และไม่คำนึงถึงลำดับคำ ไวยากรณ์ และความหมาย สำหรับบริบทหรือความคล้ายคลึงทางความหมาย วิธีการฝัง เช่น Word2Vec จะเหมาะสมกว่า

ต้องมีการประมวลผลล่วงหน้าอย่างไรบ้าง?

คลังเอกสารต้องได้รับการทำความสะอาดและแบ่งเป็นโทเค็นอย่างสอดคล้องกันก่อนการถ่วงน้ำหนัก — การทำให้ข้อความเป็นมาตรฐานและแยกออกเป็นหน่วยคำที่เปรียบเทียบกันได้ การข้ามขั้นตอนนี้จะทำให้เกิดโทเค็นที่มีสัญญาณรบกวนซึ่งทำให้คุณภาพของน้ำหนักลดลง

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว