TF-IDF — ความถี่ของคำศัพท์-ความถี่ผกผันของเอกสาร
- ผู้เสนอ
- Salton & Buckley
- ปี
- 1988
- ประเภท
- Text vectorization / term-weighting scheme
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
TF-IDF ซึ่งนำเสนอโดย Salton และ Buckley (1988) เป็นรูปแบบการถ่วงน้ำหนักคำศัพท์ที่ให้คะแนนแต่ละคำในเอกสารตามความถี่ที่ปรากฏในเอกสารนั้นและความหายากของคำนั้นในคลังเอกสารทั้งหมด โดยแปลงข้อความดิบให้เป็นเวกเตอร์เอกสารที่มีน้ำหนัก โดยให้น้ำหนักสูงแก่คำศัพท์ที่พบบ่อยในเอกสารหนึ่งแต่ไม่ค่อยพบในเอกสารอื่น
แนวคิดเบื้องหลังวิธีการ
ไม่ใช่ทุกคำที่ปรากฏบ่อยจะให้ข้อมูล — คำอย่าง "the" ปรากฏอยู่ทุกหนทุกแห่งและบอกเราเพียงเล็กน้อยเกี่ยวกับเนื้อหาของเอกสาร TF-IDF จับแนวคิดที่ว่าคำศัพท์มีความสำคัญมากที่สุดเมื่อคำนั้นมีความถี่สูงภายในเอกสารเฉพาะ แต่หายากในคลังเอกสารส่วนที่เหลือ ด้วยการคูณความถี่ที่คำศัพท์ปรากฏในระดับท้องถิ่นด้วยระดับความโดดเด่นในระดับโลก รูปแบบนี้จะเน้นคำศัพท์ที่บ่งบอกลักษณะของแต่ละเอกสารอย่างแท้จริง และลดน้ำหนักของคำศัพท์ทั่วไป
ประวัติศาสตร์
TF-IDF เกิดจากงานการดึงข้อมูลของ Salton และ Buckley (1988) ซึ่งเปรียบเทียบวิธีการถ่วงน้ำหนักคำศัพท์สำหรับการดึงข้อความอัตโนมัติอย่างเป็นระบบ และได้กำหนดการรวมกันของความถี่คำศัพท์กับความถี่ผกผันของเอกสารให้เป็นรูปแบบการแสดงเอกสารที่มีประสิทธิภาพ กลายเป็นพื้นฐานสำคัญสำหรับการแปลงข้อความเป็นเวกเตอร์ และยังคงใช้กันอย่างแพร่หลายในฐานะการแสดงคุณลักษณะที่โปร่งใส
ควรใช้เมื่อใด
ใช้ TF-IDF เมื่อคุณมีคลังข้อความและต้องการแปลงเอกสารให้เป็นคุณลักษณะเชิงตัวเลขสำหรับการดึงข้อมูล การจำแนกประเภท หรือการเปรียบเทียบความคล้ายคลึงกัน โดยอาศัยข้อสมมติฐานแบบ bag-of-words และต้องการการประมวลผลข้อความล่วงหน้า คลังเอกสารควรมีขนาดค่อนข้างใหญ่ — หากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ น้ำหนัก IDF จะไม่เสถียร และการวิเคราะห์ความถี่คำศัพท์อย่างง่ายจะน่าเชื่อถือกว่า หากไม่มีข้อมูลข้อความเลย TF-IDF จะไม่สามารถคำนวณได้
ข้อจำกัดและข้อควรพิจารณา
- อาศัยข้อสมมติฐานแบบ bag-of-words และไม่คำนึงถึงลำดับคำและบริบท
- น้ำหนัก IDF จะไม่เสถียรและไม่มีความหมายในคลังเอกสารขนาดเล็กมาก
- ต้องการการประมวลผลข้อความล่วงหน้าที่ระมัดระวัง โทเค็นที่มีสัญญาณรบกวนจะทำให้คุณภาพของน้ำหนักลดลง
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- ง่าย รวดเร็ว และตีความได้ — น้ำหนักแต่ละรายการสามารถตรวจสอบย้อนกลับไปยังความถี่ท้องถิ่นและความหายากทั่วโลกได้โดยตรง
- แปลงข้อความดิบให้เป็นเวกเตอร์เอกสารเชิงตัวเลขที่สามารถนำไปใช้โดยวิธีการค้นหา การจำแนกประเภท และการจัดกลุ่ม
- ลดน้ำหนักของคำศัพท์ที่แพร่หลายและไม่ให้ข้อมูล ในขณะที่เน้นคำศัพท์ที่แยกแยะเอกสาร
การประยุกต์ใช้
- การแสดงเอกสารเป็นเวกเตอร์คุณลักษณะสำหรับการจำแนกประเภทข้อความ
- การจัดอันดับและการดึงเอกสารในการใช้งานการค้นหา
- การระบุคำหลักที่โดดเด่นที่สุดซึ่งบ่งบอกลักษณะของเอกสาร
- การสร้างอินพุตสำหรับการจัดกลุ่มเอกสารและการเปรียบเทียบความคล้ายคลึงกัน
วิธีการทำงาน
วิธีการทำงาน
คลังข้อความจะถูกทำความสะอาดและแบ่งเป็นคำศัพท์ — ข้อความจะถูกทำให้เป็นมาตรฐานและแยกออกเป็นหน่วยคำที่จะถ่วงน้ำหนัก เนื่องจาก TF-IDF อาศัยข้อสมมติฐานแบบ bag-of-words การประมวลผลล่วงหน้าที่สอดคล้องกันในทุกเอกสารจึงทำให้การนับที่ได้สามารถเปรียบเทียบกันได้
สำหรับแต่ละเอกสาร ความถี่ของคำศัพท์ (TF) จะนับจำนวนครั้งที่แต่ละคำปรากฏในเอกสารนั้น คำศัพท์ที่ปรากฏหลายครั้งภายในเอกสารเดียวจะได้รับน้ำหนักท้องถิ่นที่สูงขึ้น ซึ่งสะท้อนถึงความสำคัญของคำนั้นต่อเนื้อหาของเอกสาร
ทั่วทั้งคลังเอกสาร ความถี่ผกผันของเอกสาร (IDF) จะวัดว่าคำศัพท์แต่ละคำหายากเพียงใด — คำศัพท์ที่ปรากฏในเอกสารหลายฉบับจะได้รับ IDF ต่ำ ในขณะที่คำศัพท์ที่จำกัดอยู่ในเอกสารเพียงไม่กี่ฉบับจะได้รับ IDF สูง นี่คือสิ่งที่ลดทอนคำศัพท์ที่แพร่หลายและไม่ให้ข้อมูล และให้รางวัลแก่คำศัพท์ที่โดดเด่น
ส่วนประกอบ TF และ IDF จะถูกรวมเข้าด้วยกันเป็นน้ำหนักเดียวต่อคำศัพท์ และแต่ละเอกสารจะกลายเป็นเวกเตอร์ของคะแนนที่มีน้ำหนักเหล่านี้ เวกเตอร์เอกสาร-คำศัพท์ที่ได้จะเป็นการแสดงผลที่งานปลายน้ำ — การค้นหา การจำแนกประเภท การจัดกลุ่ม — ใช้
ข้อผิดพลาดที่พบบ่อย
- การรัน TF-IDF บนคลังเอกสารที่มีขนาดต่ำกว่าประมาณ 100 ฉบับ — น้ำหนัก IDF จะไม่มีความหมาย ดังนั้นควรเปลี่ยนไปใช้วิธีการวิเคราะห์ความถี่คำศัพท์อย่างง่ายแทน
- การข้ามหรือการประมวลผลล่วงหน้าที่ไม่สอดคล้องกันในเอกสารต่างๆ ซึ่งทำให้การนับคำศัพท์ไม่สามารถเปรียบเทียบกันได้
- การพยายามใช้ TF-IDF เมื่อไม่มีข้อมูลข้อความ — การเข้ารหัสเชิงหมวดหมู่กับการวิเคราะห์เนื้อหาเป็นแนวทางที่เหมาะสม
- การคาดหวังให้ TF-IDF จับความหมายหรือบริบท: มันถ่วงน้ำหนักคำศัพท์ที่แยกจากกันและไม่สามารถสร้างแบบจำลองลำดับคำหรือความหมายได้
คำถามที่พบบ่อย
TF และ IDF แต่ละรายการวัดอะไร?
ความถี่ของคำศัพท์ (TF) วัดว่าคำศัพท์ปรากฏบ่อยเพียงใดภายในเอกสารเดียว ซึ่งจับความสำคัญในระดับท้องถิ่น ความถี่ผกผันของเอกสาร (IDF) วัดว่าคำศัพท์หายากเพียงใดทั่วทั้งคลังเอกสาร โดยลดน้ำหนักของคำศัพท์ที่ปรากฏในเอกสารหลายฉบับ การคูณค่าทั้งสองจะให้น้ำหนักสูงแก่คำศัพท์ที่พบบ่อยในเอกสารหนึ่งแต่ไม่ค่อยพบในเอกสารอื่น
คลังเอกสารของฉันต้องมีขนาดเท่าใด?
TF-IDF ต้องการคลังเอกสารที่มีขนาดค่อนข้างใหญ่ — ประมาณ 100 ฉบับขึ้นไป หากน้อยกว่านั้น น้ำหนัก IDF จะไม่เสถียรและสูญเสียความหมาย และการวิเคราะห์ความถี่คำศัพท์อย่างง่ายจะน่าเชื่อถือกว่า
TF-IDF เข้าใจความหมายหรือบริบทหรือไม่?
ไม่ TF-IDF อาศัยข้อสมมติฐานแบบ bag-of-words: มันถ่วงน้ำหนักคำศัพท์แต่ละคำตามความถี่และความหายาก และไม่คำนึงถึงลำดับคำ ไวยากรณ์ และความหมาย สำหรับบริบทหรือความคล้ายคลึงทางความหมาย วิธีการฝัง เช่น Word2Vec จะเหมาะสมกว่า
ต้องมีการประมวลผลล่วงหน้าอย่างไรบ้าง?
คลังเอกสารต้องได้รับการทำความสะอาดและแบ่งเป็นโทเค็นอย่างสอดคล้องกันก่อนการถ่วงน้ำหนัก — การทำให้ข้อความเป็นมาตรฐานและแยกออกเป็นหน่วยคำที่เปรียบเทียบกันได้ การข้ามขั้นตอนนี้จะทำให้เกิดโทเค็นที่มีสัญญาณรบกวนซึ่งทำให้คุณภาพของน้ำหนักลดลง
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513-523.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว