Longformer / BigBird
- Diperkenalkan oleh
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Tahun
- 2020
- Jenis
- Sparse-attention Transformer for long sequences
Teks ini adalah terjemahan mesin dan belum ditinjau. Baca versi asli dalam bahasa Inggris
Apa fungsinya?
Transformer urutan panjang seperti Longformer (Beltagy, Peters & Cohan, 2020) dan BigBird (Zaheer et al., 2020) mengganti perhatian O(n²) standar Transformer dengan pola perhatian jarang yang berskala linier, O(n), dengan panjang urutan.
Hal ini memungkinkan satu model untuk memperhatikan ribuan token — dokumen lengkap, teks hukum, atau urutan genomik — yang tidak muat dalam Transformer konvensional.
Intuisi di balik metode
Transformer standar membandingkan setiap token dengan setiap token lainnya, sehingga menggandakan teks kira-kira mengkuadratkan pekerjaan — itulah sebabnya sebagian besar model dibatasi hingga sekitar 512 token. Transformer urutan panjang memperhatikan bahwa sebagian besar hubungan yang berguna bersifat lokal, sehingga setiap token terutama melihat tetangganya melalui jendela geser, sementara beberapa token yang ditunjuk diizinkan untuk melihat semuanya. Hal ini menjaga biaya tumbuh seiring dengan panjang teks alih-alih meledak, sehingga dokumen yang sangat panjang menjadi dapat dikelola.
Sejarah
Kedua metode muncul pada tahun 2020 sebagai respons terhadap hambatan perhatian kuadratik yang membatasi Transformer pada input pendek. Longformer (Beltagy, Peters & Cohan) memperkenalkan perhatian jendela geser plus global untuk dokumen panjang, sementara BigBird (Zaheer et al., NeurIPS) menambahkan perhatian acak ke pola jarangnya dan memberikan hasil teoretis tentang ekspresivitasnya. Bersama-sama mereka menetapkan perhatian jarang sebagai rute standar untuk memproses urutan panjang.
Kapan digunakan
Gunakan Transformer urutan panjang ketika Anda memiliki teks dokumen panjang (biasanya di atas 512 token) dan memerlukan klasifikasi atau penjelasan atas dokumen lengkap — laporan panjang, teks hukum, atau urutan genomik. Mereka mengasumsikan input yang benar-benar panjang tersedia, GPU sangat direkomendasikan, dan posisi token global harus dipilih secara masuk akal. Mereka membutuhkan data yang cukup banyak: di bawah sekitar 500 dokumen model cenderung mengalami overfitting, dan di bawah sekitar 100 dokumen pelatihan tidak bermakna dan ML klasik seperti Random Forest atau XGBoost lebih disukai.
Batasan dan pertimbangan
- GPU secara efektif diperlukan; pelatihan dan inferensi sangat membebani komputasi.
- Mengalami overfitting pada kumpulan dokumen kecil — di bawah sekitar 500 dokumen hasilnya tidak dapat diandalkan.
- Di bawah sekitar 100 dokumen pelatihan tidak bermakna dan ML klasik harus digunakan sebagai gantinya.
- Posisi token global harus dipilih dengan benar, atau aliran informasi jarak jauh akan menurun.
Syarat dari sumber tidak menggantikan tinjauan ilmiah independen atau validasi oleh mesin analisis.
Kelebihan
- Memproses ribuan token — dokumen utuh — yang melebihi jendela Transformer standar.
- Skalabilitas perhatian linier O(n) alih-alih biaya kuadratik O(n²) dari perhatian padat.
- Menggabungkan konteks jendela geser lokal dengan token global untuk aliran informasi jarak jauh.
- Sangat cocok untuk klasifikasi dokumen panjang dalam hukum, genomik, dan teks bentuk panjang.
Penerapan
- Klasifikasi dokumen panjang seperti laporan dan artikel.
- Analisis teks hukum yang melebihi jendela Transformer standar.
- Pemodelan urutan genomik panjang.
- Tugas penjelasan dan klasifikasi atas teks berdurasi penuh daripada kutipan yang dipotong.
Cara kerjanya
Cara kerjanya
Langkah intinya adalah menghilangkan perhatian padat, semua-pasangan dari Transformer standar — yang berbiaya O(n²) dalam panjang urutan n — dan memperkirakannya dengan pola jarang yang hanya berbiaya O(n). Karena perhatian adalah hambatan, satu perubahan ini adalah yang membuka input ribuan token.
Rumus
O(n^2) \;\rightarrow\; O(n)
Sebagian besar perhatian dibatasi pada jendela geser di sekitar setiap token, sehingga token memperhatikan pita token terdekat yang tetap alih-alih seluruh urutan. Konteks lokal — kata-kata di kedua sisi — membawa sebagian besar sinyal, dan menghitung hanya pita ini yang membuat biaya tumbuh secara linier dengan panjang.
Sejumlah kecil token global yang ditunjuk diizinkan untuk memperhatikan, dan diperhatikan oleh, seluruh urutan, memberikan model jalur bagi informasi jarak jauh untuk mengalir melintasi dokumen. Memilih posisi token global ini dengan benar (misalnya token klasifikasi atau token kueri) penting, karena mereka adalah jembatan antara bagian teks yang berjauhan.
Di atas encoder perhatian jarang, kepala tugas menghasilkan hasil akhir — misalnya klasifikasi tingkat dokumen atau prediksi penjelasan atas input panjang. Hasilnya adalah model yang dapat memproses dokumen berdurasi penuh yang akan dipotong oleh Transformer 512 token.
Kesalahan umum
- Menerapkannya pada teks pendek yang muat dalam Transformer standar 512 token, membayar kompleksitas tanpa keuntungan.
- Memilih posisi token global secara sembarangan, merusak jalur jarak jauh model.
- Melatih pada kumpulan dokumen kecil (n di bawah beberapa ratus) dan mempercayai hasil overfitting.
- Mencoba melatih tanpa GPU dan menyerah pada model yang dapat dikerjakan.
Pertanyaan yang sering diajukan
Bagaimana ini berbeda dari Transformer standar seperti BERT?
Transformer standar menggunakan perhatian padat, membandingkan setiap token dengan setiap token lainnya dengan biaya O(n²), yang dalam praktiknya membatasi input hingga sekitar 512 token. Longformer dan BigBird menggunakan perhatian jarang — sebagian besar jendela geser lokal ditambah beberapa token global — sehingga biaya tumbuh secara linier dan input ribuan token menjadi layak.
Kapan saya harus memilih Longformer atau BigBird daripada ML klasik?
Gunakan saat teks Anda benar-benar panjang (di atas 512 token) dan Anda memiliki dokumen yang cukup. Dengan kurang dari sekitar 500 dokumen model cenderung mengalami overfitting, dan di bawah kira-kira 100 dokumen pelatihan tidak bermakna — metode klasik seperti Random Forest atau XGBoost adalah pilihan yang lebih aman di sana.
Apa itu token global dan mengapa penting?
Token global adalah sejumlah kecil posisi yang diizinkan untuk memperhatikan, dan diperhatikan oleh, seluruh urutan. Mereka adalah saluran di mana informasi jarak jauh bergerak melintasi dokumen, jadi memilih posisi mereka dengan benar penting untuk kinerja.
Apakah saya memerlukan perangkat keras khusus?
GPU sangat direkomendasikan. Model-model ini masih memproses urutan panjang dengan jaringan yang cukup besar, sehingga pelatihan dan inferensi menuntut secara komputasi bahkan dengan perhatian berskala linier.
Metode terkait
Sumber
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Buka referensi publikasiDisalin.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Buka referensi publikasiDisalin.