Skip to content
กลับไปยังผลการค้นหา

การจำแนกข้อความแบบ Few-Shot

ประเภท
NLP text-classification task (low-resource)

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การจำแนกข้อความแบบ few-shot เป็นการกำหนดเอกสารให้กับคลาสต่างๆ โดยใช้ตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่างต่อคลาส โดยอาศัยความก้าวหน้าของ Gao et al. (2021) และแนวทาง SetFit แบบไม่ใช้ prompt ของ Tunstall et al. (2022) ซึ่งใช้ประโยชน์จาก prototypical networks, MAML หรือการปรับแต่ง (fine-tuning) โมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่ เพื่อเรียนรู้จากป้ายกำกับที่มีอยู่อย่างจำกัด

แนวคิดเบื้องหลังวิธีการ

ตัวจำแนกส่วนใหญ่ต้องการชุดข้อมูลการฝึกฝนที่มีป้ายกำกับจำนวนมาก แต่การติดป้ายกำกับข้อความนั้นมีค่าใช้จ่ายสูง และบางครั้งมีตัวอย่างต่อคลาสเพียงไม่กี่ตัวอย่าง การจำแนกข้อความแบบ few-shot แก้ปัญหานี้โดยเริ่มต้นจากโมเดลที่เข้าใจภาษาอยู่แล้ว ซึ่งก็คือโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่ และปรับให้เข้ากับคลาสของคุณด้วยตัวอย่างเพียงไม่กี่ตัวอย่างในแต่ละคลาส แทนที่จะเรียนรู้ทุกคลาสตั้งแต่เริ่มต้น วิธีนี้จะเปรียบเทียบเอกสารใหม่กับชุดต้นแบบที่มีป้ายกำกับขนาดเล็ก หรือปรับโมเดลที่ได้รับการฝึกฝนล่วงหน้าเล็กน้อย เพื่อให้แม้แต่ตัวอย่างเดียวต่อคลาสก็สามารถนำทางการตัดสินใจได้

ประวัติศาสตร์

การจำแนกข้อความแบบ few-shot เกิดขึ้นจากการวิจัย few-shot และ meta-learning ที่ปรับใช้กับภาษา Gao et al. (2021) แสดงให้เห็นถึงวิธีการทำให้โมเดลภาษาที่ได้รับการฝึกฝนล่วงหน้าเป็นผู้เรียนแบบ few-shot ที่ดีขึ้น และ Tunstall et al. (2022) ได้แนะนำ SetFit สำหรับการเรียนรู้แบบ few-shot ที่มีประสิทธิภาพโดยไม่ต้องใช้ prompt ทำให้แนวทางนี้ใช้งานได้จริงกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็กและแกนหลักที่ได้รับการฝึกฝนล่วงหน้าที่แข็งแกร่ง

ควรใช้เมื่อใด

ใช้การจำแนกข้อความแบบ few-shot เมื่อคุณมีข้อความที่ต้องการจำแนก แต่มีตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่างต่อคลาส ซึ่งน้อยกว่าที่ตัวจำแนกแบบมีผู้สอนทั่วไปต้องการมาก วิธีนี้ถือว่ามีตัวอย่างอย่างน้อยหนึ่งตัวอย่างสำหรับทุกคลาส และทำงานได้ดีที่สุดเมื่อมีโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่พร้อมที่จะให้ความรู้ที่ขาดหายไป หากมีข้อมูลที่มีป้ายกำกับจำนวนมาก ตัวจำแนกข้อความแบบมีผู้สอนทั่วไปเป็นทางเลือกที่ง่ายกว่า

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการตัวอย่างที่มีป้ายกำกับอย่างน้อยหนึ่งตัวอย่างสำหรับทุกคลาส ไม่สามารถคาดการณ์คลาสที่ไม่เคยเห็นมาก่อนได้เลย
  • คุณภาพขึ้นอยู่กับแกนหลักที่ได้รับการฝึกฝนล่วงหน้าอย่างมาก โมเดลที่อ่อนแอหรือไม่ตรงกันจะจำกัดประสิทธิภาพ
  • ด้วยตัวอย่างที่น้อยมาก การคาดการณ์อาจไม่เสถียรและอ่อนไหวต่อตัวอย่างที่เลือก

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • เรียนรู้จากตัวอย่างที่มีป้ายกำกับจำนวนน้อยมาก เพียงแค่หนึ่งตัวอย่างต่อคลาส ซึ่งตัวจำแนกแบบมีผู้สอนทั่วไปไม่สามารถทำได้
  • นำความรู้ด้านภาษาในวงกว้างภายในโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่กลับมาใช้ใหม่ จึงต้องการข้อมูลเฉพาะงานเพียงเล็กน้อย
  • มีความยืดหยุ่นในกลยุทธ์ต่างๆ: prototypical networks, MAML หรือการปรับแต่งแบบเบา (lightweight fine-tuning) ล้วนเข้ากันได้กับขั้นตอนวิธีเดียวกัน

การประยุกต์ใช้

  • การจำแนกข้อความเมื่อการติดป้ายกำกับมีค่าใช้จ่ายสูงและมีตัวอย่างต่อหมวดหมู่เพียงไม่กี่ตัวอย่าง
  • การเริ่มต้นสร้างตัวจำแนกสำหรับโดเมนใหม่หรือชุดป้ายกำกับใหม่ก่อนที่จะมีการติดป้ายกำกับขนาดใหญ่
  • การสร้างต้นแบบอย่างรวดเร็วสำหรับการจัดหมวดหมู่ข้อความในการวิจัยและการตั้งค่าการปฏิบัติงานที่มีป้ายกำกับจำกัด
  • การขยายโครงสร้างที่มีอยู่ด้วยคลาสใหม่ที่มีป้ายกำกับน้อย

วิธีการทำงาน

วิธีการทำงาน

1

คุณรวบรวมชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก โดยมีตัวอย่างอย่างน้อยหนึ่งตัวอย่างต่อคลาส บางครั้งก็มีเพียงไม่กี่ตัวอย่างต่อคลาส นี่คือชุดข้อมูลสนับสนุน (support set) ที่วิธีนี้ใช้ในการเรียนรู้ ยิ่งชุดข้อมูลนี้มีขนาดเล็กเท่าใด วิธีนี้ก็จะยิ่งอาศัยความรู้ที่มีอยู่ในโมเดลที่ได้รับการฝึกฝนล่วงหน้ามากขึ้นเท่านั้น

2

มีการเลือกโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่เป็นแกนหลัก (backbone) เนื่องจากโมเดลดังกล่าวได้เข้ารหัสความรู้ด้านภาษาในวงกว้างไว้แล้ว โมเดลที่ได้รับการฝึกฝนล่วงหน้าที่แข็งแกร่งเป็นที่ต้องการ ยิ่งโมเดลรู้เกี่ยวกับภาษามากเท่าใด ก็ยิ่งต้องการการสอนแต่ละคลาสน้อยลงจากตัวอย่างเพียงไม่กี่ตัวอย่างของคุณ

3

แกนหลักจะถูกปรับให้เข้ากับคลาสของคุณด้วยหนึ่งในกลยุทธ์ few-shot ได้แก่ prototypical networks สร้างต้นแบบคลาสจากตัวอย่างไม่กี่ตัวอย่างและจำแนกโดยใช้ต้นแบบที่ใกล้ที่สุด, MAML เรียนรู้เมตาพารามิเตอร์เริ่มต้นที่ปรับตัวได้อย่างรวดเร็ว และการปรับแต่ง (fine-tuning) อัปเดตโมเดลที่ได้รับการฝึกฝนล่วงหน้าเล็กน้อยบนชุดข้อมูลขนาดเล็ก

4

เอกสารใหม่แต่ละฉบับจะถูกเข้ารหัสโดยโมเดลที่ปรับปรุงแล้วและกำหนดป้ายกำกับคลาส โดยใช้ต้นแบบที่ใกล้ที่สุดหรือโดยส่วนหัวของตัวจำแนกที่ได้รับการปรับแต่ง ซึ่งให้ป้ายกำกับที่คาดการณ์ไว้หนึ่งป้ายกำกับต่อเอกสาร แม้จะมีข้อมูลการฝึกฝนที่จำกัด

ข้อผิดพลาดที่พบบ่อย

  • การพิจารณาคลาสที่ไม่มีตัวอย่างที่มีป้ายกำกับเลยว่าสามารถเรียนรู้ได้ ซึ่งทุกคลาสต้องมีอย่างน้อยหนึ่งตัวอย่าง
  • การจับคู่เมธอดกับโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดเล็กหรือไม่ตรงกัน ซึ่งจะลบความรู้เดิมที่การตั้งค่าแบบ few-shot ต้องพึ่งพาออกไป
  • การอ่านค่าความแม่นยำสูงเกินไปจากชุดข้อมูลสนับสนุนขนาดเล็ก ด้วยตัวอย่างที่น้อยมาก การประมาณค่าการประเมินจึงมีสัญญาณรบกวน

คำถามที่พบบ่อย

ต้องใช้ตัวอย่างต่อคลาสน้อยเพียงใดกันแน่?

ต้องมีตัวอย่างที่มีป้ายกำกับอย่างน้อยหนึ่งตัวอย่างต่อคลาส และวิธีนี้ออกแบบมาเพื่อทำงานกับเพียงไม่กี่ตัวอย่างต่อคลาส ยิ่งคุณให้ตัวอย่างน้อยเท่าใด ก็ยิ่งต้องพึ่งพาความรู้เดิมของแกนหลักที่ได้รับการฝึกฝนล่วงหน้ามากขึ้นเท่านั้น

ฉันควรใช้กลยุทธ์ few-shot แบบใด?

Prototypical networks สร้างต้นแบบต่อคลาสจากตัวอย่างไม่กี่ตัวอย่างและจำแนกโดยใช้ต้นแบบที่ใกล้ที่สุด; MAML เรียนรู้เมตาพารามิเตอร์ที่ปรับตัวได้อย่างรวดเร็วกับงานใหม่; การปรับแต่ง (fine-tuning) อัปเดตโมเดลที่ได้รับการฝึกฝนล่วงหน้าเล็กน้อยบนชุดข้อมูลขนาดเล็ก ทั้งสามวิธีเข้ากันได้กับขั้นตอนวิธีเดียวกัน; รูปแบบ SetFit แบบไม่ใช้ prompt สำหรับการปรับแต่งเป็นค่าเริ่มต้นที่ใช้งานได้จริง

ทำไมโมเดลที่ได้รับการฝึกฝนล่วงหน้าจึงมีความสำคัญมาก?

ด้วยตัวอย่างที่มีป้ายกำกับเพียงไม่กี่ตัวอย่าง ความรู้ส่วนใหญ่ต้องมาจากที่อื่น โมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่ให้ความเข้าใจภาษาในวงกว้าง ดังนั้นแกนหลักที่แข็งแกร่งกว่ามักจะให้ผลลัพธ์ few-shot ที่ดีกว่า

ฉันควรเลือกใช้ตัวจำแนกแบบมีผู้สอนปกติเมื่อใด?

เมื่อคุณมีข้อมูลที่มีป้ายกำกับจำนวนมาก วิธีการแบบ few-shot มีไว้สำหรับสถานการณ์ที่มีป้ายกำกับน้อย หากมีชุดข้อมูลที่มีป้ายกำกับขนาดใหญ่และสมดุล ตัวจำแนกข้อความแบบมีผู้สอนมาตรฐานจะง่ายกว่าและมักจะแข็งแกร่งกว่า

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Gao, T., Fisch, A. & Chen, D. (2021). Making Pre-trained Language Models Better Few-shot Learners. ACL.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว
  2. Tunstall, L., Reimers, N., Jo, U.E.S., Bates, L., Korat, D., Wasserblat, M. & Pereg, O. (2022). Efficient Few-Shot Learning Without Prompts. arXiv.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว