การปรับจูน BERT
- ผู้เสนอ
- Devlin, J. et al.
- ปี
- 2019
- ประเภท
- Transfer learning (fine-tuning a pre-trained transformer)
ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ
ใช้ทำอะไร?
การปรับจูน BERT (BERT fine-tuning) ซึ่งต่อยอดจากแบบจำลอง BERT ที่ Devlin และคณะนำเสนอในปี 2019 เป็นการนำแบบจำลอง BERT ที่ผ่านการฝึกฝนล่วงหน้าแล้วมาฝึกฝนซ้ำกับชุดข้อมูลที่มีป้ายกำกับขนาดเล็กสำหรับงานเป้าหมาย เช่น การจำแนกประเภท การรู้จำสิ่งอ้างอิง หรือการตอบคำถาม ด้วยการเรียนรู้แบบถ่ายโอน (transfer learning) ทำให้ได้ประสิทธิภาพสูงแม้จะมีข้อมูลเฉพาะสำหรับงานค่อนข้างน้อย
แนวคิดเบื้องหลังวิธีการ
การฝึกแบบจำลองภาษาตั้งแต่เริ่มต้นต้องใช้ข้อความและทรัพยากรการประมวลผลจำนวนมหาศาล BERT ได้เรียนรู้การนำเสนอภาษาที่หลากหลายและเป็นสากลมาแล้วในระหว่างการฝึกฝนล่วงหน้า ดังนั้น แทนที่จะเริ่มต้นใหม่ คุณสามารถนำแบบจำลองนั้นมาปรับเปลี่ยนให้เข้ากับงานของคุณได้อย่างละเอียด ด้วยชุดข้อมูลที่มีป้ายกำกับเพียงเล็กน้อย แบบจำลองจะปรับความรู้ที่มีอยู่ให้เข้ากับปัญหาของคุณ ซึ่งเป็นเหตุผลว่าทำไมการปรับจูนจึงได้ผล ในขณะที่การฝึกแบบจำลองตั้งแต่ศูนย์จะล้มเหลว
ประวัติศาสตร์
BERT ถูกนำเสนอโดย Devlin และคณะในปี 2019 โดยแสดงให้เห็นว่าหม้อแปลงไฟฟ้าแบบสองทิศทางเชิงลึก (deep bidirectional transformers) ที่ผ่านการฝึกฝนล่วงหน้าบนคลังข้อมูลขนาดใหญ่สามารถปรับจูนเพื่อให้ได้ผลลัพธ์ที่ล้ำสมัยในงานความเข้าใจภาษาหลายอย่าง คำแนะนำเชิงปฏิบัติ เช่น งานของ Sun และคณะในปี 2019 เกี่ยวกับวิธีการปรับจูน BERT สำหรับการจำแนกข้อความ ช่วยสร้างการปรับจูนให้เป็นสูตรมาตรฐานสำหรับการปรับแบบจำลองภาษาขนาดใหญ่ที่ผ่านการฝึกฝนล่วงหน้าให้เข้ากับงานเฉพาะ
ควรใช้เมื่อใด
ใช้การปรับจูน BERT สำหรับงานข้อความ เช่น การจำแนกประเภท การคาดการณ์ หรือการสกัดความสัมพันธ์ เช่น NER และการตอบคำถาม บนตัวแปรข้อความ โดยมีตัวอย่างที่มีป้ายกำกับอย่างน้อยประมาณ 50 ตัวอย่าง และโดยอุดมคติคือหลายร้อยตัวอย่างขึ้นไป สมมติว่ามีแบบจำลอง BERT ที่ผ่านการฝึกฝนล่วงหน้าพร้อมใช้งาน และคุณมีข้อมูลงานที่มีป้ายกำกับ แนะนำให้ใช้ GPU หากมีตัวอย่างที่มีป้ายกำกับน้อยกว่าประมาณ 500 ตัวอย่าง แบบจำลองมักจะเกิดการเรียนรู้เกิน (overfit) และหากน้อยกว่าประมาณ 50 ตัวอย่าง การปรับจูนก็ไม่สามารถทำได้ — การเรียนรู้ของเครื่องแบบคลาสสิกที่ใช้ TF-IDF เป็นทางเลือกที่ปลอดภัยกว่าในกรณีนั้น
ข้อจำกัดและข้อควรพิจารณา
- ในชุดข้อมูลที่มีป้ายกำกับขนาดเล็ก (น้อยกว่าประมาณ 500 ตัวอย่าง) การปรับจูนจะเกิดการเรียนรู้เกินและผลลัพธ์จะไม่น่าเชื่อถือ
- ด้วยข้อมูลที่มีป้ายกำกับน้อยมาก (น้อยกว่าประมาณ 50 ตัวอย่าง) การปรับจูนไม่สามารถทำได้เลย
- แนะนำให้ใช้ GPU ดังนั้นความต้องการด้านการประมวลผลจึงสูงกว่าแบบจำลองข้อความแบบคลาสสิก
- ขึ้นอยู่กับการมีแบบจำลอง BERT ที่ผ่านการฝึกฝนล่วงหน้าที่เหมาะสมสำหรับภาษาและโดเมนนั้นๆ
เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้
จุดแข็ง
- การเรียนรู้แบบถ่ายโอนให้ประสิทธิภาพสูงแม้จะมีข้อมูลที่มีป้ายกำกับค่อนข้างน้อย
- จับบริบทแบบสองทิศทาง จัดการความหมายของคำที่ขึ้นอยู่กับข้อความรอบข้าง
- โครงสร้างหลักที่ผ่านการฝึกฝนล่วงหน้าเพียงหนึ่งเดียวสามารถรองรับงานได้หลายอย่าง: การจำแนกประเภท, NER, การตอบคำถาม
- หลีกเลี่ยงค่าใช้จ่ายด้านข้อมูลและการประมวลผลจำนวนมหาศาลในการฝึกแบบจำลองภาษาตั้งแต่เริ่มต้น
การประยุกต์ใช้
- การจำแนกข้อความ เช่น การวิเคราะห์ความรู้สึกและการระบุหัวข้อ
- การรู้จำสิ่งอ้างอิง (NER) บนข้อความ
- การตอบคำถามและการสกัดช่วงข้อความ
- การปรับแบบจำลองภาษาทั่วไปที่ผ่านการฝึกฝนล่วงหน้าให้เข้ากับโดเมนเฉพาะที่มีข้อมูลที่มีป้ายกำกับจำกัด
วิธีการทำงาน
วิธีการทำงาน
คุณเริ่มต้นจากแบบจำลอง BERT ที่ผ่านการฝึกฝนล่วงหน้าแล้ว ซึ่งได้เรียนรู้การนำเสนอภาษาแบบสองทิศทางจากคลังข้อความขนาดใหญ่ แบบจำลองที่ผ่านการฝึกฝนล่วงหน้านี้มีความรู้ทางภาษาศาสตร์ทั่วไปที่สามารถถ่ายโอนไปยังงานเป้าหมายของคุณได้ ดังนั้นคุณจึงไม่ต้องเรียนรู้โครงสร้างภาษาตั้งแต่เริ่มต้น
มีการแนบเลเยอร์เอาต์พุตเฉพาะสำหรับงานไว้ด้านบนของ BERT สำหรับงานเป้าหมายของคุณ เช่น ส่วนหัวสำหรับการจำแนกประเภท (classification head) สำหรับการระบุความรู้สึก ส่วนหัวระดับโทเค็น (token-level head) สำหรับการรู้จำสิ่งอ้างอิง หรือส่วนหัวช่วง (span head) สำหรับการตอบคำถาม ส่วนหัวนี้จะเปลี่ยนการนำเสนอตามบริบทของ BERT ให้เป็นการคาดการณ์สำหรับงานของคุณ
แบบจำลองที่รวมกันจะถูกฝึกซ้ำกับชุดข้อมูลงานที่มีป้ายกำกับขนาดเล็กของคุณ โดยปรับปรุงน้ำหนักเพื่อให้มีความเชี่ยวชาญเฉพาะสำหรับงานนั้น โดยทั่วไปแบบจำลองจะถูกฝึกเป็นเวลาไม่กี่อีพ็อก (epochs) แนะนำให้ใช้ GPU เนื่องจากเครือข่ายพื้นฐานมีขนาดใหญ่ ผลลัพธ์ที่ได้คือแบบจำลองที่แปลงอินพุตข้อความเป็นการคาดการณ์สำหรับงาน
สูตร
\hat{y} = \text{softmax}(W \cdot h_{\text{[CLS]}} + b)ข้อผิดพลาดที่พบบ่อย
- การปรับจูนด้วยตัวอย่างที่มีป้ายกำกับน้อยเกินไปและเชื่อถือเมตริกที่ได้
- การข้ามชุดข้อมูลประเมินผลที่แยกไว้ต่างหาก ทำให้การเรียนรู้เกินบนชุดข้อมูลขนาดเล็กไม่ถูกสังเกตเห็น
- การเลือกใช้ BERT ในขณะที่แบบจำลองคลาสสิกที่ใช้ TF-IDF จะน่าเชื่อถือกว่าสำหรับข้อมูลขนาดเล็ก
- การฝึกมากเกินไปหลายอีพ็อกบนชุดข้อมูลขนาดเล็ก ซึ่งจะขยายการเรียนรู้เกิน
คำถามที่พบบ่อย
ฉันต้องใช้ข้อมูลที่มีป้ายกำกับมากแค่ไหน?
การปรับจูนสามารถทำได้ตั้งแต่ประมาณ 50 ตัวอย่างที่มีป้ายกำกับ แต่ประสิทธิภาพจะน่าเชื่อถือมากขึ้นเมื่อมีหลายร้อยตัวอย่างขึ้นไป หากมีตัวอย่างน้อยกว่าประมาณ 500 ตัวอย่าง แบบจำลองมักจะเกิดการเรียนรู้เกิน และหากน้อยกว่าประมาณ 50 ตัวอย่าง การปรับจูนก็ไม่สามารถทำได้ — แบบจำลองคลาสสิกที่ใช้ TF-IDF จะปลอดภัยกว่าในกรณีนั้น
ฉันจำเป็นต้องใช้ GPU หรือไม่?
แนะนำให้ใช้ GPU เนื่องจากเครือข่าย BERT มีขนาดใหญ่และการฝึกบน CPU จะช้า การปรับจูนมักจะใช้เวลาเพียงไม่กี่อีพ็อก ซึ่งทำให้การประมวลผลบน GPU สามารถจัดการได้
ทำไมต้องปรับจูนแทนที่จะฝึกตั้งแต่เริ่มต้น?
BERT ได้เรียนรู้การนำเสนอภาษาแบบสองทิศทางทั่วไปมาแล้วในระหว่างการฝึกฝนล่วงหน้า การปรับจูนจะนำความรู้นั้นกลับมาใช้ใหม่ผ่านการเรียนรู้แบบถ่ายโอน ดังนั้นคุณจึงได้ประสิทธิภาพสูงด้วยข้อมูลที่มีป้ายกำกับและทรัพยากรการประมวลผลที่น้อยกว่าการฝึกแบบจำลองตั้งแต่ศูนย์มาก
การปรับจูน BERT สามารถจัดการงานอะไรได้บ้าง?
ด้วยการแนบส่วนหัวเอาต์พุตเฉพาะสำหรับงาน คุณสามารถใช้โครงสร้างหลักที่ผ่านการฝึกฝนล่วงหน้าเดียวกันสำหรับการจำแนกประเภท การรู้จำสิ่งอ้างอิง และการตอบคำถาม รวมถึงงานข้อความอื่นๆ
วิธีการที่เกี่ยวข้อง
แหล่งอ้างอิง
Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้วSun, C., Qiu, X., Xu, Y. & Huang, X. (2019). How to Fine-Tune BERT for Text Classification. CCL.
เปิดเอกสารอ้างอิง DOIคัดลอกแล้ว