Skip to content
กลับไปยังผลการค้นหา

การปรับละเอียด GPT (GPT Fine-Tuning)

ผู้เสนอ
Radford, A. et al. (OpenAI)
ปี
2019
ประเภท
Fine-tuning of pretrained autoregressive language models

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

การปรับละเอียด GPT เป็นการปรับโมเดลภาษาอัตถิปัญญา (autoregressive language models) ที่ได้รับการฝึกฝนล่วงหน้าแล้ว เช่น GPT-2/3/4 หรือ LLaMA ซึ่งเปิดตัวในงานวิจัยปี 2019 ของ OpenAI โดย Radford และคณะ ให้เข้ากับข้อมูลเฉพาะทาง หรือเพื่อการทำตามคำสั่ง ผ่านการเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (reinforcement learning from human feedback - RLHF) หรือ DPO การปรับละเอียดนี้ใช้สำหรับการทำตามคำสั่ง การปรับให้เข้ากับโดเมน และงานสร้างสรรค์ข้อความ

แนวคิดเบื้องหลังวิธีการ

โมเดลภาษาขนาดใหญ่ (large language model) ได้เรียนรู้ไวยากรณ์ ข้อเท็จจริง และรูปแบบการให้เหตุผลจากคลังข้อความขนาดมหึมาอยู่แล้ว ดังนั้นจึงแทบไม่จำเป็นต้องฝึกฝนตั้งแต่ต้น การปรับละเอียดเป็นการนำโมเดลที่ฝึกฝนล่วงหน้าแล้วนั้นมาปรับให้เข้ากับงานของคุณเอง เช่น คำศัพท์เฉพาะทางโดเมนของคุณ รูปแบบการตอบที่คุณต้องการ คำสั่งของคุณ โดยการฝึกฝนต่อไปบนชุดตัวอย่างคู่คำสั่ง-ผลลัพธ์ (prompt-completion examples) ที่มีขนาดเล็กกว่ามาก

ประวัติศาสตร์

การปรับละเอียด GPT สร้างต่อยอดจากโมเดลภาษาอัตถิปัญญาที่ Radford และคณะ ได้อธิบายไว้ในรายงานปี 2019 ของ OpenAI ซึ่งแสดงให้เห็นว่าโมเดลภาษาขนาดใหญ่ทำหน้าที่เป็นผู้เรียนแบบหลายงานโดยไม่ต้องมีการกำกับดูแล (unsupervised multitask learners) จากนั้น Ouyang และคณะ (2022) ได้นำเสนอการฝึกฝนด้วยผลตอบรับจากมนุษย์ (RLHF) ซึ่งทำให้โมเดลสามารถทำตามคำสั่งได้อย่างน่าเชื่อถือมากขึ้น และเป็นรูปแบบการปรับโมเดลให้เข้ากับคำสั่งที่ใช้กันอยู่ในปัจจุบัน

ควรใช้เมื่อใด

ใช้การปรับละเอียด GPT สำหรับการจำแนกประเภทข้อความ การทำนาย หรือการสร้างข้อความ เมื่อคุณมีโมเดลตระกูล GPT ที่ฝึกฝนล่วงหน้าแล้ว ข้อมูลของคุณถูกเตรียมในรูปแบบคู่คำสั่ง-ผลลัพธ์ และมีทรัพยากรคอมพิวเตอร์ (GPU/TPU) เพียงพอ การปรับละเอียดนี้ไม่ได้สมมติว่าข้อมูลมีการแจกแจงแบบปกติ (normally distributed data) ชุดข้อมูลขนาดใหญ่เป็นที่ต้องการอย่างยิ่ง: หากมีตัวอย่างน้อยกว่าประมาณ 500 ตัวอย่าง โมเดลมีแนวโน้มที่จะเกิดการเรียนรู้เกิน (overfit) และคุณภาพของการสร้างข้อความจะลดลง และหากมีตัวอย่างน้อยกว่าประมาณ 50 ตัวอย่าง การปรับละเอียดจะไม่ให้ผลลัพธ์ที่มีความหมาย โมเดลที่ง่ายกว่า เช่น random forest หรือ XGBoost จะมีความปลอดภัยมากกว่าในกรณีดังกล่าว

ข้อจำกัดและข้อควรพิจารณา

  • ต้องการโมเดล GPT ที่ฝึกฝนล่วงหน้า และโดยทั่วไปต้องการทรัพยากรคอมพิวเตอร์ GPU/TPU
  • ข้อมูลต้องถูกเตรียมอย่างระมัดระวังในรูปแบบคู่คำสั่ง-ผลลัพธ์
  • บนชุดข้อมูลขนาดเล็ก (น้อยกว่าประมาณ 500 ตัวอย่าง) โมเดลจะเกิดการเรียนรู้เกินและคุณภาพการสร้างข้อความจะเสื่อมลง
  • ด้วยข้อมูลที่น้อยมาก (น้อยกว่าประมาณ 50 ตัวอย่าง) การปรับละเอียดจะไม่สามารถให้ผลลัพธ์ที่มีความหมายได้

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ต่อยอดจากความรู้ที่กว้างขวางซึ่งได้รวบรวมไว้แล้วระหว่างการฝึกฝนล่วงหน้าขนาดใหญ่ จึงต้องการข้อมูลสำหรับงานน้อยกว่าการฝึกฝนตั้งแต่ต้นมาก
  • จัดการกับการจำแนกประเภทข้อความ การทำนาย และงานสร้างสรรค์ข้อความแบบปลายเปิดภายในกรอบการทำงานเดียวกัน
  • ข้อสมมติฐานน้อย: ไม่ต้องการข้อมูลที่มีการแจกแจงแบบปกติ
  • การปรับค่าด้วย RLHF หรือ DPO ช่วยให้โมเดลสามารถทำตามคำสั่งและสอดคล้องกับความพึงพอใจของมนุษย์

การประยุกต์ใช้

  • การปรับโมเดลภาษาทั่วไปให้เข้ากับข้อความเฉพาะทาง
  • การทำตามคำสั่งและการสร้างข้อความสไตล์ผู้ช่วย
  • งานจำแนกประเภทข้อความและการทำนายบนข้อมูลข้อความ
  • งานสร้างสรรค์ที่ต้องการผลลัพธ์ข้อความที่คล่องแคล่วและสอดคล้องกับงาน

วิธีการทำงาน

วิธีการทำงาน

1

คุณเริ่มต้นจากโมเดลตระกูล GPT ที่ได้รับการฝึกฝนล่วงหน้าแล้ว ซึ่งมีความรู้ทางภาษาอย่างกว้างขวางอยู่แล้ว ชุดข้อมูลสำหรับการปรับละเอียดจะถูกเตรียมในรูปแบบคู่คำสั่ง-ผลลัพธ์ และขึ้นอยู่กับงานและฮาร์ดแวร์ที่ใช้ อาจจำเป็นต้องใช้ GPU หรือ TPU

2

โมเดลจะฝึกฝนต่อไปบนข้อมูลของงาน โดยลดค่าความสูญเสียของการสร้างแบบจำลองภาษาอัตถิปัญญา (autoregressive language-modelling loss) ซึ่งก็คือค่าลบของลอการิทึมความน่าจะเป็นของโทเค็นถัดไปแต่ละตัวเมื่อพิจารณาจากโทเค็นก่อนหน้า การดำเนินการนี้จะปรับเปลี่ยนพฤติกรรมของโมเดลให้เข้ากับโดเมนเป้าหมาย ในขณะที่ยังคงรักษาความสามารถทั่วไปที่ได้เรียนรู้ระหว่างการฝึกฝนล่วงหน้า

สูตร
\mathcal{L} = -\sum_{t} \log P(x_t \mid x_{<t})
3

สำหรับการทำตามคำสั่ง โมเดลจะถูกปรับให้สอดคล้องกับความพึงพอใจของมนุษย์มากขึ้น โดยใช้การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) หรือการปรับค่าความพึงพอใจโดยตรง (direct preference optimisation - DPO) เพื่อให้ผลลัพธ์ของโมเดลตรงตามคำสั่งและความคาดหวังที่มนุษย์กำหนดให้ได้ดียิ่งขึ้น

ข้อผิดพลาดที่พบบ่อย

  • การปรับละเอียดบนตัวอย่างน้อยเกินไป และเชื่อผลลัพธ์ที่ดูเหมือนคล่องแคล่วแต่เกิดการเรียนรู้เกิน
  • การละเลยการจัดรูปแบบคู่คำสั่ง-ผลลัพธ์ที่ถูกต้องสำหรับข้อมูลการฝึกฝน
  • การคิดว่าการปรับค่าด้วย RLHF/DPO เป็นทางเลือกเมื่อเป้าหมายคือการทำตามคำสั่ง
  • การเลือกใช้การปรับละเอียด GPT เมื่อ random forest หรือ XGBoost จะน่าเชื่อถือมากกว่าสำหรับชุดข้อมูลขนาดเล็ก

คำถามที่พบบ่อย

ฉันต้องใช้ข้อมูลเท่าใดในการปรับละเอียดโมเดล GPT?

ยิ่งมากยิ่งดี โดยทั่วไปแล้ว หากมีตัวอย่างน้อยกว่าประมาณ 500 ตัวอย่าง โมเดลมีแนวโน้มที่จะเกิดการเรียนรู้เกินและคุณภาพการสร้างข้อความจะลดลง หากมีตัวอย่างน้อยกว่าประมาณ 50 ตัวอย่าง การปรับละเอียดจะไม่ให้ผลลัพธ์ที่มีความหมาย และโมเดลที่ง่ายกว่า เช่น random forest หรือ XGBoost จะมีความปลอดภัยมากกว่า

อะไรคือความแตกต่างระหว่างการปรับละเอียด (fine-tuning) และ RLHF/DPO?

การปรับละเอียดเป็นการฝึกฝนต่อไปบนข้อมูลโดเมนหรืองานเพื่อลดค่าความสูญเสียของการสร้างแบบจำลองภาษา RLHF และ DPO เป็นขั้นตอนการปรับค่าที่ปรับโมเดลเพิ่มเติมให้เข้ากับความพึงพอใจของมนุษย์ เพื่อให้โมเดลทำตามคำสั่งและสร้างผลลัพธ์ในรูปแบบที่คาดหวัง

ฉันต้องใช้ GPU หรือไม่?

บ่อยครั้ง จำเป็น การปรับละเอียดโมเดลอัตถิปัญญาขนาดใหญ่ต้องใช้ทรัพยากรคอมพิวเตอร์สูง และอาจจำเป็นต้องใช้ GPU หรือ TPU ขึ้นอยู่กับขนาดของโมเดลและงาน

ฉันควรจัดรูปแบบข้อมูลของฉันอย่างไร?

เตรียมข้อมูลในรูปแบบคู่คำสั่ง-ผลลัพธ์ โดยแต่ละตัวอย่างจะจับคู่ระหว่างพรอมต์อินพุตกับผลลัพธ์ที่ต้องการของโมเดล ก่อนทำการปรับละเอียด

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI Technical Report.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. NeurIPS.

    เปิดเอกสารอ้างอิง DOI
    คัดลอกแล้ว