Skip to content
กลับไปยังผลการค้นหา

Longformer / BigBird

ผู้เสนอ
Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
ปี
2020
ประเภท
Sparse-attention Transformer for long sequences

ข้อความนี้เป็นการแปลด้วยเครื่องและยังไม่ได้รับการตรวจทาน อ่านต้นฉบับภาษาอังกฤษ

ขนาดตัวอักษร

ใช้ทำอะไร?

ทรานส์ฟอร์เมอร์สำหรับลำดับยาว (Long-sequence Transformers) เช่น Longformer (Beltagy, Peters & Cohan, 2020) และ BigBird (Zaheer et al., 2020) ได้เข้ามาแทนที่กลไกความสนใจ (attention) แบบมาตรฐานของทรานส์ฟอร์เมอร์ ซึ่งมีค่าใช้จ่าย O(n²) ด้วยรูปแบบความสนใจแบบกระจัดกระจาย (sparse attention patterns) ที่ปรับขนาดเชิงเส้นตรง O(n) ตามความยาวของลำดับ สิ่งนี้ทำให้แบบจำลองเดี่ยวสามารถประมวลผลโทเค็นได้หลายพันรายการ เช่น เอกสารฉบับเต็ม ข้อความทางกฎหมาย หรือลำดับจีโนม ซึ่งไม่สามารถทำได้ด้วยทรานส์ฟอร์เมอร์แบบดั้งเดิม

แนวคิดเบื้องหลังวิธีการ

ทรานส์ฟอร์เมอร์แบบมาตรฐานจะเปรียบเทียบทุกโทเค็นกับทุกโทเค็นอื่น ๆ ดังนั้นการเพิ่มความยาวของข้อความเป็นสองเท่าจะเพิ่มปริมาณงานขึ้นประมาณสี่เท่า ซึ่งเป็นเหตุผลว่าทำไมแบบจำลองส่วนใหญ่จึงจำกัดอยู่ที่ประมาณ 512 โทเค็น ทรานส์ฟอร์เมอร์สำหรับลำดับยาวสังเกตเห็นว่าความสัมพันธ์ที่มีประโยชน์ส่วนใหญ่เป็นแบบเฉพาะที่ (local) ดังนั้นแต่ละโทเค็นจึงพิจารณาเพื่อนบ้านใกล้เคียงเป็นหลักผ่านหน้าต่างเลื่อน (sliding window) ในขณะที่โทเค็นที่กำหนดไว้บางส่วนได้รับอนุญาตให้พิจารณาทุกสิ่ง สิ่งนี้ทำให้ค่าใช้จ่ายเพิ่มขึ้นตามความยาวของข้อความแทนที่จะเพิ่มขึ้นอย่างรวดเร็ว ทำให้เอกสารที่ยาวมากสามารถประมวลผลได้

ประวัติศาสตร์

ทั้งสองวิธีปรากฏขึ้นในปี 2020 เพื่อตอบสนองต่อปัญหาคอขวดของกลไกความสนใจแบบกำลังสองที่จำกัดทรานส์ฟอร์เมอร์ให้รับอินพุตสั้น ๆ Longformer (Beltagy, Peters & Cohan) ได้นำเสนอหน้าต่างเลื่อนบวกกับความสนใจส่วนกลางสำหรับเอกสารยาว ในขณะที่ BigBird (Zaheer et al., NeurIPS) ได้เพิ่มความสนใจแบบสุ่ม (random attention) เข้าไปในรูปแบบกระจัดกระจายและให้ผลลัพธ์ทางทฤษฎีเกี่ยวกับความสามารถในการแสดงออกของมัน ทั้งสองวิธีนี้ได้สร้างความสนใจแบบกระจัดกระจายให้เป็นเส้นทางมาตรฐานในการประมวลผลลำดับยาว

ควรใช้เมื่อใด

ใช้ทรานส์ฟอร์เมอร์สำหรับลำดับยาวเมื่อคุณมีข้อความเอกสารยาว (โดยทั่วไปเกิน 512 โทเค็น) และต้องการการจัดประเภทหรือคำอธิบายสำหรับเอกสารฉบับเต็ม — รายงานยาว ข้อความทางกฎหมาย หรือลำดับจีโนม แบบจำลองเหล่านี้สันนิษฐานว่ามีอินพุตที่ยาวจริง ๆ แนะนำให้ใช้ GPU อย่างยิ่ง และต้องเลือกตำแหน่งโทเค็นส่วนกลางอย่างสมเหตุสมผล แบบจำลองเหล่านี้ต้องการข้อมูลในปริมาณที่เหมาะสม: หากมีเอกสารน้อยกว่าประมาณ 500 ฉบับ แบบจำลองมักจะเกิดการเรียนรู้เกิน (overfit) และหากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ การฝึกอบรมจะไม่มีความหมาย และควรใช้การเรียนรู้ของเครื่องแบบดั้งเดิม เช่น Random Forest หรือ XGBoost จะดีกว่า

ข้อจำกัดและข้อควรพิจารณา

  • จำเป็นต้องใช้ GPU อย่างมีประสิทธิภาพ การฝึกอบรมและการอนุมานต้องใช้การคำนวณสูง
  • เกิดการเรียนรู้เกินในชุดเอกสารขนาดเล็ก — หากมีเอกสารน้อยกว่าประมาณ 500 ฉบับ ผลลัพธ์จะไม่น่าเชื่อถือ
  • หากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ การฝึกอบรมจะไม่มีความหมาย และควรใช้การเรียนรู้ของเครื่องแบบดั้งเดิมแทน
  • ต้องเลือกตำแหน่งโทเค็นส่วนกลางอย่างถูกต้อง มิฉะนั้นการไหลของข้อมูลระยะไกลจะลดลง

เงื่อนไขจากแหล่งที่มาไม่สามารถใช้แทนการทบทวนทางวิทยาศาสตร์ที่เป็นอิสระหรือการตรวจสอบโดยเอนจินวิเคราะห์ได้

จุดแข็ง

  • ประมวลผลโทเค็นได้หลายพันรายการ — เอกสารฉบับเต็ม — ซึ่งเกินขีดจำกัดของทรานส์ฟอร์เมอร์มาตรฐาน
  • การปรับขนาดความสนใจเชิงเส้นตรง O(n) แทนที่จะเป็นค่าใช้จ่าย O(n²) แบบกำลังสองของความสนใจแบบหนาแน่น
  • รวมบริบทหน้าต่างเลื่อนเฉพาะที่เข้ากับโทเค็นส่วนกลางสำหรับการไหลของข้อมูลระยะไกล
  • เหมาะสำหรับการจัดประเภทเอกสารยาวในด้านกฎหมาย จีโนมิกส์ และข้อความรูปแบบยาว

การประยุกต์ใช้

  • การจัดประเภทเอกสารยาว เช่น รายงานและบทความ
  • การวิเคราะห์ข้อความทางกฎหมายที่เกินขีดจำกัดของทรานส์ฟอร์เมอร์มาตรฐาน
  • การสร้างแบบจำลองลำดับจีโนมยาว
  • งานอธิบายและการจัดประเภทสำหรับข้อความฉบับเต็ม แทนที่จะเป็นส่วนที่ถูกตัดทอน

วิธีการทำงาน

วิธีการทำงาน

1

หัวใจสำคัญคือการละทิ้งกลไกความสนใจแบบหนาแน่น (dense, all-pairs attention) ของทรานส์ฟอร์เมอร์มาตรฐาน ซึ่งมีค่าใช้จ่าย O(n²) ตามความยาวลำดับ n และประมาณค่าด้วยรูปแบบกระจัดกระจายซึ่งมีค่าใช้จ่ายเพียง O(n) เนื่องจากกลไกความสนใจเป็นคอขวด การเปลี่ยนแปลงเพียงอย่างเดียวนี้จึงเป็นสิ่งที่ปลดล็อกการป้อนข้อมูลที่มีโทเค็นหลายพันรายการ

สูตร
O(n^2) \;\rightarrow\; O(n)
2

กลไกความสนใจส่วนใหญ่ถูกจำกัดอยู่ในหน้าต่างเลื่อนรอบ ๆ แต่ละโทเค็น ดังนั้นโทเค็นจะให้ความสนใจกับกลุ่มโทเค็นใกล้เคียงที่กำหนดไว้ แทนที่จะเป็นลำดับทั้งหมด บริบทเฉพาะที่ (local context) — คำที่อยู่สองข้าง — มีสัญญาณส่วนใหญ่ และการคำนวณเฉพาะกลุ่มนี้เป็นสิ่งที่ทำให้ค่าใช้จ่ายเพิ่มขึ้นเชิงเส้นตรงตามความยาว

3

ชุดโทเค็นส่วนกลาง (global tokens) ที่กำหนดไว้จำนวนน้อยได้รับอนุญาตให้ให้ความสนใจและถูกให้ความสนใจโดยลำดับทั้งหมด ซึ่งทำให้แบบจำลองมีเส้นทางสำหรับการไหลของข้อมูลระยะไกลทั่วทั้งเอกสาร การเลือกตำแหน่งโทเค็นส่วนกลางเหล่านี้อย่างถูกต้อง (เช่น โทเค็นการจัดประเภท หรือโทเค็นคำถาม) เป็นสิ่งสำคัญ เนื่องจากเป็นสะพานเชื่อมระหว่างส่วนที่ห่างไกลของข้อความ

4

นอกเหนือจากตัวเข้ารหัส (encoder) แบบความสนใจกระจัดกระจายแล้ว ส่วนหัวของงาน (task head) จะสร้างผลลัพธ์สุดท้าย — เช่น การจัดประเภทระดับเอกสาร หรือการทำนายเชิงอธิบายสำหรับอินพุตยาว ผลลัพธ์ที่ได้คือแบบจำลองที่สามารถประมวลผลเอกสารฉบับเต็มที่ทรานส์ฟอร์เมอร์ขนาด 512 โทเค็นจะต้องตัดทอน

ข้อผิดพลาดที่พบบ่อย

  • นำไปใช้กับข้อความสั้นที่พอดีกับทรานส์ฟอร์เมอร์มาตรฐาน 512 โทเค็น โดยต้องแบกรับความซับซ้อนโดยไม่มีประโยชน์
  • เลือกตำแหน่งโทเค็นส่วนกลางอย่างไม่ระมัดระวัง ทำให้เส้นทางข้อมูลระยะไกลของแบบจำลองเสียหาย
  • ฝึกอบรมกับชุดเอกสารขนาดเล็ก (n น้อยกว่าสองสามร้อย) และเชื่อถือผลลัพธ์ที่เกิดการเรียนรู้เกิน
  • พยายามฝึกอบรมโดยไม่มี GPU และล้มเลิกการสร้างแบบจำลองที่ใช้งานได้

คำถามที่พบบ่อย

สิ่งนี้แตกต่างจากทรานส์ฟอร์เมอร์มาตรฐานอย่าง BERT อย่างไร

ทรานส์ฟอร์เมอร์มาตรฐานใช้กลไกความสนใจแบบหนาแน่น โดยเปรียบเทียบทุกโทเค็นกับทุกโทเค็นอื่น ๆ ด้วยค่าใช้จ่าย O(n²) ซึ่งในทางปฏิบัติจำกัดอินพุตไว้ที่ประมาณ 512 โทเค็น Longformer และ BigBird ใช้กลไกความสนใจแบบกระจัดกระจาย — ส่วนใหญ่เป็นหน้าต่างเลื่อนเฉพาะที่บวกกับโทเค็นส่วนกลางบางส่วน — ดังนั้นค่าใช้จ่ายจึงเพิ่มขึ้นเชิงเส้นตรง และอินพุตหลายพันโทเค็นจึงเป็นไปได้

ฉันควรเลือก Longformer หรือ BigBird แทนการเรียนรู้ของเครื่องแบบดั้งเดิมเมื่อใด

ใช้เมื่อข้อความของคุณยาวจริง ๆ (เกิน 512 โทเค็น) และคุณมีเอกสารเพียงพอ หากมีเอกสารน้อยกว่าประมาณ 500 ฉบับ แบบจำลองมักจะเกิดการเรียนรู้เกิน และหากมีเอกสารน้อยกว่าประมาณ 100 ฉบับ การฝึกอบรมจะไม่มีความหมาย — วิธีการแบบดั้งเดิม เช่น Random Forest หรือ XGBoost เป็นทางเลือกที่ปลอดภัยกว่า

โทเค็นส่วนกลางคืออะไร และทำไมจึงสำคัญ

โทเค็นส่วนกลางคือชุดตำแหน่งจำนวนน้อยที่ได้รับอนุญาตให้ให้ความสนใจและถูกให้ความสนใจโดยลำดับทั้งหมด เป็นช่องทางที่ข้อมูลระยะไกลเคลื่อนที่ไปทั่วเอกสาร ดังนั้นการเลือกตำแหน่งของมันอย่างถูกต้องจึงเป็นสิ่งสำคัญต่อประสิทธิภาพ

ฉันจำเป็นต้องมีฮาร์ดแวร์พิเศษหรือไม่

แนะนำให้ใช้ GPU อย่างยิ่ง แบบจำลองเหล่านี้ยังคงประมวลผลลำดับยาวด้วยเครือข่ายขนาดใหญ่ ดังนั้นการฝึกอบรมและการอนุมานจึงต้องใช้การคำนวณสูงแม้จะใช้กลไกความสนใจที่ปรับขนาดเชิงเส้นตรงก็ตาม

วิธีการที่เกี่ยวข้อง

แหล่งอ้างอิง

  1. Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว
  2. Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.

    เปิดเอกสารอ้างอิงสิ่งพิมพ์
    คัดลอกแล้ว