Skip to content
กลับไปยังผลการค้นหา

การสกัดสารสนเทศ — การเปลี่ยนข้อความเป็นระเบียนที่มีโครงสร้าง

ประเภท
NLP structured-information task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การสกัดสารสนเทศ (Information Extraction: IE) เป็นภารกิจหนึ่งของการประมวลผลภาษาธรรมชาติที่แปลงข้อความที่ไม่มีโครงสร้างให้เป็นสารสนเทศที่มีโครงสร้าง เช่น เหตุการณ์ ความสัมพันธ์ และคุณลักษณะ เพื่อให้ข้อเท็จจริงที่ซ่อนอยู่ในเอกสารรูปแบบอิสระสามารถกลายเป็นระเบียนที่เครื่องอ่านได้ ภารกิจนี้ได้รับการรวบรวมไว้ในการสำรวจเบื้องต้นโดย Cowie และ Lehnert (1996) และต่อมาโดย Grishman (2012)

แนวคิดเบื้องหลังวิธีการ

เอกสารเล่าเรื่องราวด้วยภาษาอิสระ แต่ฐานข้อมูลต้องการแถวและฟิลด์ที่เป็นระเบียบ การสกัดสารสนเทศจะอ่านข้อความในลักษณะเดียวกับที่นักวิเคราะห์จะเน้นย้ำว่าใคร ทำอะไร และเมื่อไหร่ จากนั้นจึงเขียนส่วนที่เน้นย้ำเหล่านั้นลงในโครงสร้างข้อมูลที่กำหนดไว้ตายตัว แทนที่จะปล่อยให้ข้อเท็จจริงติดอยู่ในร้อยแก้ว วิธีการนี้จะดึงเอนทิตีและความสัมพันธ์ระหว่างเอนทิตีเหล่านั้นออกมา และจัดวางเป็นระเบียนที่มีโครงสร้างซึ่งสามารถสืบค้นได้

ประวัติศาสตร์

การสกัดสารสนเทศถูกกำหนดให้เป็นภารกิจ NLP ที่แตกต่างกันในการสำรวจของ Cowie และ Lehnert (1996) ซึ่งรวบรวมเป้าหมายของการดึงข้อเท็จจริงที่มีโครงสร้างออกจากข้อความอิสระ และต่อมาได้รับการทบทวนโดย Grishman (2012) ใน Handbook of Natural Language Processing ภารกิจนี้ได้พัฒนาจากกฎรูปแบบที่สร้างด้วยมือไปสู่โมเดลเชิงสถิติและโมเดลที่เรียนรู้สำหรับการค้นหาเอนทิตี ความสัมพันธ์ และเหตุการณ์

ควรใช้เมื่อใด

การสกัดสารสนเทศเหมาะสมเมื่อคุณมีข้อมูลข้อความและต้องการเปลี่ยนให้เป็นระเบียนที่มีโครงสร้างของเหตุการณ์ ความสัมพันธ์ หรือคุณลักษณะ และเมื่อคุณสามารถกำหนดออนโทโลยีเฉพาะโดเมนที่อธิบายสิ่งที่ต้องการสกัดได้ ปริมาณข้อความที่เหมาะสมก็มีส่วนช่วย — วิธีการนี้คาดหวังว่าจะมีเอกสารอย่างน้อยห้าสิบฉบับ หากไม่มีข้อมูลข้อความ หรือไม่มีโครงสร้างข้อมูลที่ตกลงกันไว้สำหรับสิ่งที่นับเป็นข้อเท็จจริง IE ก็ไม่สามารถทำงานได้

ข้อจำกัดและข้อควรพิจารณา

  • ต้องมีออนโทโลยีเฉพาะโดเมนที่กำหนดไว้อย่างชัดเจนก่อนที่จะเริ่มการสกัด
  • ต้องการข้อมูลข้อความในปริมาณที่เพียงพอ คลังข้อมูลขนาดเล็กมากให้สัญญาณน้อยเกินไป
  • คุณภาพการสกัดขึ้นอยู่กับว่าโครงสร้างข้อมูลและรูปแบบเข้ากันได้ดีเพียงใดกับภาษาของคลังข้อมูล

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เปลี่ยนข้อความที่ไม่มีโครงสร้างให้เป็นระเบียนที่มีโครงสร้างและสามารถสืบค้นได้ของเหตุการณ์ ความสัมพันธ์ และคุณลักษณะ
  • ขับเคลื่อนด้วยโครงสร้างข้อมูล: ออนโทโลยีช่วยให้ไปป์ไลน์เดียวกันสามารถนำไปใช้กับโดเมนที่แตกต่างกันได้
  • รวมการจับคู่รูปแบบตามกฎและโมเดลที่ผ่านการฝึกฝน จึงปรับให้เข้ากับข้อมูลและทรัพยากรที่มีอยู่

การประยุกต์ใช้

  • การสร้างฐานความรู้ที่มีโครงสร้างจากชุดเอกสารขนาดใหญ่
  • การสกัดเหตุการณ์และผู้เข้าร่วมจากคลังข่าวหรือรายงาน
  • การจับความสัมพันธ์และคุณลักษณะจากข้อความโดเมนในด้านสุขภาพ สังคมศาสตร์ เศรษฐศาสตร์ และธุรกิจ
  • การเติมข้อมูลในฐานข้อมูลด้วยข้อเท็จจริงที่ได้จากการขุดค้นจากเอกสารที่ไม่มีโครงสร้าง

วิธีการทำงาน

วิธีการทำงาน

1

มีการกำหนดออนโทโลยีหรือโครงสร้างข้อมูลเฉพาะโดเมนก่อน: ประเภทของเอนทิตี ความสัมพันธ์ เหตุการณ์ และคุณลักษณะที่ระบบควรมองหา เนื่องจาก IE จะสกัดเฉพาะสิ่งที่โครงสร้างข้อมูลอธิบาย ขั้นตอนนี้จึงเป็นตัวกำหนดว่าอะไรนับเป็นข้อเท็จจริงที่ควรบันทึกในโดเมนที่กำหนด

2

ข้อความดิบจะถูกทำความสะอาดและแบ่งส่วนเป็นหน่วยที่สามารถวิเคราะห์ได้ เช่น ประโยคและโทเค็น เพื่อให้รูปแบบและโมเดลการสกัดทำงานบนข้อมูลนำเข้าที่สอดคล้องกัน หากไม่มีการทำให้เป็นมาตรฐานนี้ การจับคู่ในขั้นตอนถัดไปจะเชื่อถือไม่ได้

3

เอนทิตี ความสัมพันธ์ เหตุการณ์ และคุณลักษณะจะถูกระบุตำแหน่งในข้อความ ซึ่งทำได้ด้วยกฎการจับคู่รูปแบบบนโครงสร้างทางภาษา ด้วยโมเดลที่ผ่านการฝึกฝน หรือด้วยการรวมกันของทั้งสองวิธี โดยแต่ละวิธีจะระบุองค์ประกอบที่กำหนดไว้ในออนโทโลยี

4

องค์ประกอบที่สกัดได้จะถูกนำมารวมกันเป็นระเบียนที่มีโครงสร้างซึ่งสอดคล้องกับโครงสร้างข้อมูล — การเติมช่องว่างของเหตุการณ์ การเชื่อมโยงผู้เข้าร่วมในความสัมพันธ์ หรือการแนบคุณลักษณะเข้ากับเอนทิตี ผลลัพธ์ที่ได้คือสารสนเทศที่มีโครงสร้างที่เครื่องอ่านได้ซึ่งดึงมาจากข้อความต้นฉบับที่ไม่มีโครงสร้าง

ข้อผิดพลาดที่พบบ่อย

  • การข้ามการออกแบบออนโทโลยี — หากไม่มีโครงสร้างข้อมูลที่กำหนดไว้ ระบบจะไม่มีเป้าหมายและจะสกัดระเบียนที่ไม่สอดคล้องกันหรือไม่มีความหมาย
  • การนำรูปแบบหรือโมเดลที่สร้างขึ้นสำหรับโดเมนหนึ่งไปใช้กับอีกโดเมนหนึ่งจะทำให้ความแม่นยำในการสกัดลดลง
  • การละเลยการประมวลผลล่วงหน้าจะทิ้งโทเค็นที่มีสัญญาณรบกวนและขอบเขตประโยคที่ผิดพลาดซึ่งทำให้การจับคู่ในขั้นตอนถัดไปผิดพลาด
  • การทำงานกับข้อความน้อยเกินไป (น้อยกว่าห้าสิบเอกสาร) ทำให้มีตัวอย่างน้อยเกินไปสำหรับรูปแบบหรือโมเดลที่จะทำงานได้อย่างน่าเชื่อถือ

คำถามที่พบบ่อย

การสกัดสารสนเทศแตกต่างจากการรู้จำเอนทิตีที่มีชื่ออย่างไร

การรู้จำเอนทิตีที่มีชื่อจะระบุตำแหน่งและติดป้ายกำกับเอนทิตีเท่านั้น เช่น บุคคล สถานที่ และองค์กร การสกัดสารสนเทศนั้นกว้างกว่า: นอกจากนี้ยังระบุความสัมพันธ์ระหว่างเอนทิตีเหล่านั้น เหตุการณ์ที่เอนทิตีเหล่านั้นมีส่วนร่วม และคุณลักษณะของเอนทิตีเหล่านั้น และรวบรวมทั้งหมดนี้เป็นระเบียนที่มีโครงสร้างซึ่งเป็นไปตามโครงสร้างข้อมูล

เหตุใดฉันจึงต้องมีออนโทโลยีก่อนที่จะเรียกใช้

ออนโทโลยีหรือโครงสร้างข้อมูลจะกำหนดอย่างชัดเจนว่าอะไรนับเป็นข้อเท็จจริงในโดเมนของคุณ — ประเภทของเอนทิตี ความสัมพันธ์ เหตุการณ์ และคุณลักษณะใดที่ควรมองหา การสกัดสารสนเทศจะจับเฉพาะสิ่งที่โครงสร้างข้อมูลอธิบาย ดังนั้นหากไม่มี ระบบจะไม่มีเป้าหมายและจะสร้างผลลัพธ์ที่ไม่สอดคล้องกัน

ฉันต้องการข้อมูลการฝึกอบรมที่มีป้ายกำกับหรือไม่

ขึ้นอยู่กับแนวทาง การสกัดตามรูปแบบหรือกฎจะทำงานบนโครงสร้างทางภาษาและสามารถทำงานได้โดยไม่มีตัวอย่างที่มีป้ายกำกับ ในขณะที่โมเดลที่ผ่านการฝึกฝนจะเรียนรู้จากข้อมูลที่มีคำอธิบายประกอบ ระบบหลายระบบรวมทั้งสองอย่างเข้าด้วยกัน ดังนั้นข้อมูลที่คุณต้องการจึงแตกต่างกันไปตามวิธีการที่คุณเลือก

ฉันต้องการข้อความมากแค่ไหน

การสกัดสารสนเทศคาดหวังปริมาณข้อความที่เหมาะสม — ประมาณอย่างน้อยห้าสิบเอกสาร หากมีน้อยกว่านั้นมาก รูปแบบและโมเดลจะมีตัวอย่างน้อยเกินไปที่จะสกัดได้อย่างน่าเชื่อถือ

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Cowie, J. & Lehnert, W. (1996). Information Extraction. Communications of the ACM.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Grishman, R. (2012). Information Extraction. In Handbook of Natural Language Processing.

    ISBN: 9781420085921
    คัดลอกแล้ว