Longformer / BigBird
- Автор метода
- Beltagy, Peters & Cohan (Longformer); Zaheer et al. (BigBird)
- Год
- 2020
- Тип
- Sparse-attention Transformer for long sequences
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Трансформеры для длинных последовательностей, такие как Longformer (Beltagy, Peters & Cohan, 2020) и BigBird (Zaheer et al., 2020), заменяют стандартное квадратичное O(n²) внимание в Трансформере разреженным вниманием, которое линейно O(n) масштабируется с длиной последовательности.
Это позволяет одной модели обрабатывать тысячи токенов — полные документы, юридические тексты или геномные последовательности — которые не поместились бы в обычный Трансформер.
Интуиция метода
Стандартный Трансформер сравнивает каждый токен с каждым другим токеном, поэтому удвоение текста примерно учетверяет объем вычислений — именно поэтому большинство моделей ограничиваются примерно 512 токенами. Трансформеры для длинных последовательностей учитывают, что большинство полезных связей локальны, поэтому каждый токен в основном смотрит на своих ближайших соседей через скользящее окно, в то время как нескольким выделенным токенам разрешено смотреть на все. Это позволяет стоимости вычислений расти пропорционально длине текста, а не экспоненциально, делая очень длинные документы обрабатываемыми.
История
Оба метода появились в 2020 году как ответ на квадратичное ограничение внимания, которое ограничивало Трансформеры короткими входами. Longformer (Beltagy, Peters & Cohan) представил скользящее окно плюс глобальное внимание для длинных документов, в то время как BigBird (Zaheer et al., NeurIPS) добавил случайное внимание к своему разреженному паттерну и предоставил теоретические результаты о его выразительности. Вместе они установили разреженное внимание как стандартный путь для обработки длинных последовательностей.
Когда применять
Используйте трансформеры для длинных последовательностей, когда у вас есть длинные документы (обычно более 512 токенов), и вам нужна классификация или объяснение для всего документа — длинные отчеты, юридические тексты или геномные последовательности. Они предполагают наличие действительно длинных входных данных, настоятельно рекомендуется GPU, и позиции глобальных токенов должны быть выбраны разумно. Им требуется значительный объем данных: менее примерно 500 документов модель склонна к переобучению, а менее примерно 100 документов обучение не имеет смысла, и предпочтительнее классическое машинное обучение, такое как Random Forest или XGBoost.
Ограничения и замечания
- GPU фактически требуется; обучение и инференс вычислительно затратны.
- Переобучается на небольших наборах документов — менее примерно 500 документов результаты ненадежны.
- Менее примерно 100 документов обучение бессмысленно, и следует использовать классическое машинное обучение.
- Позиции глобальных токенов должны быть выбраны правильно, иначе поток информации на большие расстояния ухудшается.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Обрабатывает тысячи токенов — целые документы — превышающие окно стандартного Трансформера.
- Линейное масштабирование внимания O(n) вместо квадратичной стоимости O(n²) плотного внимания.
- Сочетает локальный контекст скользящего окна с глобальными токенами для передачи информации на большие расстояния.
- Хорошо подходит для классификации длинных документов в юриспруденции, геномике и длинных текстовых форматах.
Применение
- Классификация длинных документов, таких как отчеты и статьи.
- Анализ юридических текстов, превышающих стандартные окна Трансформера.
- Моделирование длинных геномных последовательностей.
- Задачи объяснения и классификации для полных текстов, а не усеченных отрывков.
Как это работает
Как это работает
Основной ход заключается в отказе от плотного внимания ко всем парам токенов, как в стандартном Трансформере, которое стоит O(n²) по длине последовательности n, и аппроксимации его разреженным паттерном, который стоит лишь O(n). Поскольку внимание является узким местом, это единственное изменение позволяет обрабатывать входные данные длиной в тысячи токенов.
Формула
O(n^2) \;\rightarrow\; O(n)
Большая часть внимания ограничена скользящим окном вокруг каждого токена, поэтому токен обращает внимание на фиксированный диапазон ближайших токенов, а не на всю последовательность. Локальный контекст — слова слева и справа — несет большую часть сигнала, и вычисление только этого диапазона позволяет стоимости расти линейно с длиной.
Небольшой набор выделенных глобальных токенов может обращать внимание на всю последовательность и быть объектом внимания всей последовательности, предоставляя модели путь для передачи информации на большие расстояния по всему документу. Правильный выбор позиций этих глобальных токенов (например, токена классификации или токенов запроса) важен, поскольку они являются мостом между удаленными частями текста.
Поверх энкодера с разреженным вниманием, задача (task head) формирует окончательный результат — например, классификацию на уровне документа или объясняющий прогноз для длинного входа. Результатом является модель, которая может обрабатывать полные документы, которые Трансформер с 512 токенами пришлось бы усекать.
Частые ошибки
- Применение к коротким текстам, которые помещаются в стандартный Трансформер с 512 токенами, с избыточной сложностью без выгоды.
- Небрежный выбор позиций глобальных токенов, нарушающий пути передачи информации на большие расстояния в модели.
- Обучение на небольшом наборе документов (n менее нескольких сотен) и доверие к результату переобучения.
- Попытка обучения без GPU и отказ от работоспособной модели.
Часто задаваемые вопросы
Чем это отличается от стандартного Трансформера, такого как BERT?
Стандартный Трансформер использует плотное внимание, сравнивая каждый токен с каждым другим токеном со стоимостью O(n²), что на практике ограничивает входы примерно 512 токенами. Longformer и BigBird используют разреженное внимание — в основном локальные скользящие окна плюс несколько глобальных токенов — поэтому стоимость растет линейно, и входы длиной в несколько тысяч токенов становятся возможными.
Когда следует предпочесть Longformer или BigBird классическому машинному обучению?
Используйте их, когда ваш текст действительно длинный (более 512 токенов), и у вас достаточно документов. При менее чем примерно 500 документах модель склонна к переобучению, а при менее чем примерно 100 документах обучение не имеет смысла — классические методы, такие как Random Forest или XGBoost, являются там более безопасным выбором.
Что такое глобальные токены и почему они важны?
Глобальные токены — это небольшой набор позиций, которым разрешено обращать внимание на всю последовательность и быть объектом внимания всей последовательности. Они являются каналом, по которому перемещается информация на большие расстояния по документу, поэтому правильный выбор их позиций важен для производительности.
Нужно ли мне специальное оборудование?
GPU настоятельно рекомендуется. Эти модели по-прежнему обрабатывают длинные последовательности с довольно большими сетями, поэтому обучение и инференс вычислительно требовательны даже с линейным масштабированием внимания.
Похожие методы
Источники
Beltagy, I., Peters, M. E. & Cohan, A. (2020). Longformer: The Long-Document Transformer. arXiv.
Открыть ссылку на публикациюСкопировано.Zaheer, M. et al. (2020). Big Bird: Transformers for Longer Sequences. NeurIPS.
Открыть ссылку на публикациюСкопировано.