Skip to content
กลับไปยังผลการค้นหา

การจำแนกประเภทแบบไม่ใช้ตัวอย่าง — การจำแนกข้อความโดยไม่ต้องใช้ข้อมูลฝึกสอน

ผู้เสนอ
Yin, Hay & Roth
ปี
2019
ประเภท
NLP text-classification task

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกประเภทแบบไม่ใช้ตัวอย่าง (Zero-shot classification) เป็นงานประมวลผลภาษาธรรมชาติที่กำหนดหมวดหมู่ให้กับข้อความ โดยใช้คำอธิบายในภาษาทั่วไป โดยไม่จำเป็นต้องมีข้อมูลฝึกสอนที่มีป้ายกำกับ การกำหนดรูปแบบปัญหาการอนุมานโดย Yin, Hay และ Roth (2019) ทำให้แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้าสามารถรับรู้หมวดหมู่ใหม่ได้ทันที เพียงแค่ระบุชื่อหมวดหมู่เหล่านั้น ซึ่งช่วยให้สามารถปรับตัวเข้ากับชุดป้ายกำกับใหม่ได้อย่างรวดเร็ว

แนวคิดเบื้องหลังวิธีการ

โดยปกติแล้ว แบบจำแนกประเภทจะต้องเห็นตัวอย่างที่มีป้ายกำกับจำนวนมากสำหรับแต่ละหมวดหมู่ก่อน จึงจะสามารถรับรู้หมวดหมู่เหล่านั้นได้ การจำแนกประเภทแบบไม่ใช้ตัวอย่างจะข้ามขั้นตอนนี้ไป: คุณระบุชื่อหมวดหมู่เป็นคำทั่วไป เช่น การเมือง กีฬา วิทยาศาสตร์ และแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้า ซึ่งเข้าใจภาษาอยู่แล้ว จะตัดสินว่าป้ายกำกับที่ผู้สมัครแต่ละรายมีความเหมาะสมกับข้อความมากน้อยเพียงใด เนื่องจากแบบจำลองมีความรู้ด้านภาษาที่กว้างขวางอยู่แล้ว คุณจึงสามารถเพิ่มหรือเปลี่ยนแปลงหมวดหมู่ได้ทันที โดยไม่ต้องรวบรวมและติดป้ายกำกับข้อมูลฝึกสอนใหม่

ประวัติศาสตร์

การจำแนกประเภทข้อความแบบไม่ใช้ตัวอย่างได้รับการประเมินผลอย่างเป็นระบบและกำหนดรูปแบบเป็นปัญหาการอนุมานข้อความโดย Yin, Hay และ Roth (2019) ซึ่งแสดงให้เห็นว่าแบบจำลองที่ได้รับการฝึกสอนเกี่ยวกับการอนุมานภาษาธรรมชาติสามารถจำแนกข้อความออกเป็นหมวดหมู่ที่ไม่เคยเห็นได้ โดยปฏิบัติต่อแต่ละป้ายกำกับเสมือนเป็นสมมติฐาน ความสามารถที่กว้างขวางขึ้นของแบบจำลองภาษาขนาดใหญ่ในการทำงานที่ไม่เคยได้รับการฝึกสอนอย่างชัดเจนมาก่อน ได้รับความนิยมจาก Brown et al. (2020) ในงานการเรียนรู้แบบใช้ตัวอย่างน้อย (few-shot learning) บน GPT-3

ควรใช้เมื่อใด

การจำแนกประเภทแบบไม่ใช้ตัวอย่างเหมาะสมเมื่อคุณมีข้อความที่ต้องจำแนกประเภท แต่ไม่มีข้อมูลฝึกสอนที่มีป้ายกำกับ และเมื่อหมวดหมู่อาจมีการเปลี่ยนแปลงหรือเพิ่มขึ้นเมื่อเวลาผ่านไป จำเป็นต้องมีแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้า (เช่น แบบจำลองการอนุมานที่ใช้ BART หรือ RoBERTa) และป้ายกำกับผู้สมัครที่กำหนดไว้อย่างชัดเจนและไม่ทับซ้อนกัน เหมาะอย่างยิ่งสำหรับการสร้างต้นแบบอย่างรวดเร็วและสำหรับการตั้งค่าที่การรวบรวมตัวอย่างที่มีป้ายกำกับสำหรับทุกคลาสเป็นไปไม่ได้ในทางปฏิบัติ

ข้อจำกัดและข้อควรพิจารณา

  • ขึ้นอยู่กับแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้า (BART, RoBERTa) ซึ่งมีค่าใช้จ่ายในการประมวลผล
  • ความแม่นยำขึ้นอยู่กับความชัดเจนและไม่ทับซ้อนกันของป้ายกำกับผู้สมัคร
  • หากไม่มีการฝึกสอนเฉพาะงาน แบบจำแนกประเภทแบบมีผู้สอนอาจทำได้ดีกว่าเมื่อมีข้อมูลที่มีป้ายกำกับจำนวนมาก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ไม่ต้องใช้ข้อมูลฝึกสอนที่มีป้ายกำกับ — หมวดหมู่จะถูกอธิบายด้วยภาษาทั่วไป
  • ปรับตัวเข้ากับหมวดหมู่ใหม่ได้อย่างรวดเร็ว: การเพิ่มคลาสหมายถึงการเพิ่มชื่อลงในรายการป้ายกำกับผู้สมัครเท่านั้น
  • ใช้ประโยชน์จากความรู้ทางภาษาที่กว้างขวางซึ่งถูกจับไว้แล้วในแบบจำลองที่ได้รับการฝึกสอนล่วงหน้าขนาดใหญ่

การประยุกต์ใช้

  • การจำแนกเอกสารออกเป็นชุดป้ายกำกับที่มีการเปลี่ยนแปลงบ่อยครั้งโดยไม่ต้องฝึกสอนใหม่
  • การสร้างต้นแบบอย่างรวดเร็วของงานจำแนกประเภทก่อนที่จะมีการรวบรวมข้อมูลที่มีป้ายกำกับใดๆ
  • การกำหนดเส้นทางหรือการติดแท็กข้อความขาเข้า (หัวข้อ, เจตนา) โดยใช้เพียงชื่อหมวดหมู่
  • การสำรวจหมวดหมู่ที่เกิดขึ้นใหม่ในคลังข้อความวิจัยและการดำเนินงาน

วิธีการทำงาน

วิธีการทำงาน

1

คุณอธิบายหมวดหมู่เป้าหมายเป็นป้ายกำกับผู้สมัครในภาษาธรรมชาติ ซึ่งเป็นวลีสั้นๆ ที่แบบจำลองสามารถอ่านได้โดยตรง ป้ายกำกับเหล่านี้ต้องเขียนให้ชัดเจนและไม่ทับซ้อนกัน เนื่องจากแบบจำลองจะเปรียบเทียบข้อความกับป้ายกำกับแต่ละรายการตามที่เขียนไว้ ป้ายกำกับที่คลุมเครือหรือทับซ้อนกันจะทำให้การตัดสินใจไม่ชัดเจน

2

ข้อความและป้ายกำกับผู้สมัครจะถูกป้อนเข้าสู่แบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้า เช่น BART หรือ RoBERTa จะไม่มีการปรับแต่งด้วยข้อมูลของคุณเอง แบบจำลองจะใช้ความรู้ทางภาษาที่ได้รับระหว่างการฝึกสอนล่วงหน้าเพื่อแสดงทั้งเอกสารและป้ายกำกับผู้สมัครแต่ละรายการ

3

แบบจำลองจะให้คะแนนว่าป้ายกำกับผู้สมัครแต่ละรายการได้รับการสนับสนุนจากข้อความมากน้อยเพียงใด โดยกำหนดรูปแบบของงานเป็นการอนุมานภาษาธรรมชาติ: ข้อความนั้นบ่งชี้ถึงสมมติฐานว่าข้อความนั้นเป็นของป้ายกำกับนี้หรือไม่? แต่ละป้ายกำกับจะได้รับคะแนนความเข้ากันได้จากแบบจำลองที่ได้รับการฝึกสอนล่วงหน้า

4

ป้ายกำกับที่มีคะแนนสูงสุดจะถูกกำหนดให้กับข้อความ (หรือชุดป้ายกำกับตามลำดับสำหรับการตั้งค่าแบบหลายป้ายกำกับ) เนื่องจากคะแนนขึ้นอยู่กับแบบจำลองที่ได้รับการฝึกสอนล่วงหน้าทั้งหมด การเพิ่มหมวดหมู่ใหม่จึงง่ายเหมือนกับการเพิ่มชื่อลงในรายการผู้สมัคร

ข้อผิดพลาดที่พบบ่อย

  • ป้ายกำกับผู้สมัครที่คลุมเครือหรือทับซ้อนกันจะทำให้การตัดสินใจของแบบจำลองไม่ชัดเจน ให้กำหนดป้ายกำกับแต่ละรายการให้ชัดเจนและไม่ทับซ้อนกัน
  • คาดหวังว่าความแม่นยำแบบไม่ใช้ตัวอย่างจะเทียบเท่ากับแบบจำแนกประเภทแบบมีผู้สอนอย่างเต็มที่เมื่อมีข้อมูลที่มีป้ายกำกับจำนวนมาก — ในกรณีนั้น ให้ฝึกแบบจำลองแบบมีผู้สอนแทน
  • การใช้แบบจำลองขนาดเล็กหรือทั่วไปแทนแบบจำลองการอนุมานขนาดใหญ่จะทำให้ผลลัพธ์ลดลง
  • การกำหนดป้ายกำกับในภาษาที่แบบจำลองที่ได้รับการฝึกสอนล่วงหน้าไม่สามารถจัดการได้ดี จะลดความน่าเชื่อถือลง

คำถามที่พบบ่อย

การจำแนกประเภทแบบไม่ใช้ตัวอย่างจำเป็นต้องมีข้อมูลฝึกสอนหรือไม่?

ไม่ นั่นคือคุณลักษณะที่กำหนด: คุณอธิบายหมวดหมู่เป็นป้ายกำกับผู้สมัครในภาษาธรรมชาติ และแบบจำลองที่ได้รับการฝึกสอนล่วงหน้าจะตัดสินความเหมาะสม ดังนั้นจึงไม่จำเป็นต้องมีตัวอย่างที่มีป้ายกำกับ

อาศัยแบบจำลองใด?

อาศัยแบบจำลองภาษาขนาดใหญ่ที่ได้รับการฝึกสอนล่วงหน้า โดยทั่วไปคือแบบจำลองที่ฝึกสอนการอนุมาน เช่น BART หรือ RoBERTa คุณภาพของผลลัพธ์ขึ้นอยู่กับการใช้แบบจำลองที่ได้รับการฝึกสอนล่วงหน้าที่สามารถทำงานได้ดี แทนที่จะเป็นแบบจำลองทั่วไปขนาดเล็ก

ฉันควรเขียนป้ายกำกับผู้สมัครอย่างไร?

กำหนดให้ชัดเจนและไม่ทับซ้อนกัน แบบจำลองจะเปรียบเทียบข้อความกับป้ายกำกับแต่ละรายการตามที่เขียนไว้ ดังนั้นป้ายกำกับที่คลุมเครือหรือทับซ้อนกันจะทำให้การตัดสินใจไม่ชัดเจนและลดความแม่นยำลง

มีความแม่นยำเท่ากับแบบจำแนกประเภทแบบมีผู้สอนหรือไม่?

ไม่จำเป็นเสมอไป เมื่อคุณมีข้อมูลที่มีป้ายกำกับจำนวนมาก แบบจำแนกประเภทแบบมีผู้สอนที่ฝึกสอนด้วยข้อมูลนั้นอาจทำได้ดีกว่าแบบไม่ใช้ตัวอย่าง แบบไม่ใช้ตัวอย่างจะโดดเด่นเมื่อข้อมูลที่มีป้ายกำกับมีน้อยหรือชุดหมวดหมู่มีการเปลี่ยนแปลงตลอดเวลา

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Yin, W., Hay, J. & Roth, D. (2019). Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach. EMNLP, 3914-3923.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Brown, T. et al. (2020). Language Models are Few-Shot Learners. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว