Skip to content
Назад к результатам поиска

Классификация на основе BERT

Автор метода
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (Google AI Language)
Год
2019
Тип
Pre-trained language model with fine-tuning
Семейство
Deep learning / NLP / CV

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Классификация на основе BERT — это дообучение модели Google Bidirectional Encoder Representations from Transformers на размеченном наборе текстовых данных путем замены стандартного предобученного слоя на классификационный слой, специфичный для задачи.

Она использует глубокий двунаправленный контекст из сотен миллионов предобученных параметров для достижения наилучшей точности в задачах классификации коротких и средних текстов при относительно скромных объемах размеченных данных.

Интуиция метода

BERT читает каждое слово в предложении, полностью осознавая все окружающие слова в обоих направлениях одновременно — в отличие от предыдущих моделей, которые читали слева направо или справа налево. Перед дообучением BERT уже усвоил богатые языковые закономерности из огромного корпуса текстов. Для классификации текста поверх модели помещается тонкий классификационный слой, и вся модель кратко переобучается на ваших размеченных примерах. Модель корректирует свои внутренние представления, чтобы соответствовать вашим конкретным категориям, сохраняя при этом широкие лингвистические знания, полученные при предобучении, что позволяет добиться высокой производительности даже при нехватке размеченных данных.

История

BERT был опубликован Devlin et al. в Google AI Language в 2019 году и сразу же установил новые рекорды производительности на 11 бенчмарках NLP, включая GLUE и SQuAD. Его ключевым нововведением было двунаправленное предобучение с помощью маскированного языкового моделирования и предсказания следующего предложения. С 2019 года он породил семейство производных моделей — RoBERTa, ALBERT, DistilBERT, специализированные варианты для конкретных доменов — и стал основой современного прикладного NLP, включая классификацию текстов в академических, промышленных и клинических условиях.

Когда применять

Используйте классификацию на основе BERT, когда у вас есть размеченные текстовые данные и вы хотите достичь наилучшей точности для таких задач, как анализ тональности, категоризация тем, определение намерений или классификация клинических текстов. Она хорошо работает даже с несколькими сотнями размеченных примеров на класс, что делает ее отличным выбором, когда большие аннотированные корпуса недоступны. Предпочитайте ее более простым моделям (TF-IDF + логистическая регрессия, CNN, LSTM), когда важны лингвистические нюансы, контекст на больших расстояниях или тонкие семантические различия. Избегайте ее, когда последовательности превышают 512 токенов без специальной обработки, когда вычислительные ресурсы GPU недоступны или слишком дороги, когда требуется задержка вывода в реальном времени менее нескольких миллисекунд, или когда домен сильно специализирован и существует очень мало данных для предобучения в этом домене — в таких случаях более подходящей может быть модель, специфичная для домена (BioBERT, LegalBERT).

Ограничения и замечания

  • Жесткое ограничение длины последовательности в 512 токенов; более длинные документы требуют усечения, разбиения на части или иерархических подходов.
  • Высокая вычислительная стоимость и потребление памяти во время вывода по сравнению с более легкими моделями, такими как DistilBERT или логистическая регрессия.
  • Дообучение на очень маленьких наборах данных (менее ~100 примеров на класс) рискует вызвать катастрофическое забывание или переобучение.
  • Внутренние механизмы модели остаются в значительной степени непрозрачными; объяснение предсказаний требует дополнительных инструментов, таких как визуализация внимания или SHAP.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Двунаправленное самовнимание улавливает богатое контекстное значение, которое однонаправленные модели на основе RNN не могут представить.
  • Предобучение на больших корпусах обеспечивает сильные языковые априорные знания, позволяя достичь хорошей производительности при ограниченном объеме размеченных данных.
  • Дообучение происходит быстро — обычно всего 3–5 эпох — по сравнению с обучением большой модели с нуля.
  • Единая архитектура обрабатывает множество задач классификации NLP без необходимости ручного создания признаков для каждой задачи.
  • Широко доступны предобученные контрольные точки (BERT-base, BERT-large) и их производные для многих языков и доменов.

Применение

  • Анализ тональности отзывов, сообщений в социальных сетях и ответов на опросы.
  • Классификация тем и намерений для поддержки клиентов, чат-ботов и модерации контента.
  • Классификация клинических текстов: кодирование диагнозов, сортировка клинических записей и обнаружение нежелательных явлений.
  • Категоризация научных аннотаций и отбор цитат в систематических обзорах.
  • Обнаружение языка вражды и дезинформации на социальных платформах.

Как это работает

Как это работает

1

Входной текст разбивается на токены WordPiece, и перед ним добавляется специальный токен [CLS]. Токен [SEP] отмечает границы предложений. Каждый токен отображается в числовой идентификатор и дополняется или усекается до фиксированной максимальной длины последовательности, обычно 128 или 512 токенов.

2

Последовательность токенов проходит через все слои трансформера BERT. Каждый слой применяет многоголовое самовнимание (multi-head self-attention), позволяя каждому токену одновременно обращать внимание на каждый другой токен в обоих направлениях, формируя на каждой позиции богатые контекстно-зависимые представления.

Формула
h = \text{BERT}([\texttt{[CLS]}, w_1, \ldots, w_n])
3

Скрытое состояние, соответствующее токену [CLS] в последнем слое BERT, извлекается в виде вектора фиксированной длины, представляющего всю входную последовательность. Это агрегированное представление улавливает общий смысл текста.

4

Линейный классификационный слой — матрица весов и смещение — отображает вектор [CLS] в оценку для каждого класса. Функция softmax преобразует эти оценки в вероятности классов, и класс с наибольшей вероятностью является предсказанием.

Формула
\hat{y} = \text{softmax}(W h_{\texttt{[CLS]}} + b)
5

Вся модель — слои BERT и классификационный слой — оптимизируется совместно на размеченном обучающем наборе с использованием функции потерь кросс-энтропии и небольшой скорости обучения (обычно от 2e-5 до 5e-5 с AdamW) в течение небольшого числа эпох (обычно 3–5). Схема постепенного увеличения скорости обучения (learning-rate warm-up) предотвращает большие начальные обновления градиентов, которые могут повредить предобученные веса.

Частые ошибки

  • Использование слишком высокой скорости обучения, что приводит к повреждению предобученных весов и отсутствию улучшения по сравнению со случайным базовым уровнем.
  • Усечение всех входов без проверки того, находится ли наиболее релевантный текст в начале или конце последовательности.
  • Пропуск правильного разделения данных на обучающую, валидационную и тестовую выборки и измерение производительности только на обучающем наборе.
  • Игнорирование дисбаланса классов — отчетность только по точности на несбалансированном наборе данных скрывает низкую полноту (recall) для миноритарных классов.
  • Выбор BERT, когда среда развертывания не имеет ресурсов GPU, что приводит к неприемлемой задержке вывода в производственной среде.

Часто задаваемые вопросы

Сколько размеченных данных мне нужно для дообучения BERT?

BERT может дать полезную производительность при наличии всего нескольких сотен размеченных примеров на класс, поскольку предобучение уже сформировало богатые языковые априорные знания. Производительность значительно улучшается при наличии нескольких тысяч примеров; после этого прирост уменьшается. При менее чем примерно 100 примерах на класс существует реальный риск переобучения — рассмотрите возможность аугментации данных или использования более легкой модели.

Какую скорость обучения следует использовать при дообучении?

Скорость обучения в диапазоне от 2e-5 до 5e-5 с оптимизатором AdamW является стандартным диапазоном, рекомендованным в оригинальной статье. Более высокие скорости обучения, как правило, разрушают предобученные веса; более низкие замедляют сходимость. Используйте линейный разогрев (warm-up) в течение первых 10% шагов обучения.

Мои тексты длиннее 512 токенов. Что мне делать?

Распространенные стратегии включают усечение до первых или последних 512 токенов, разбиение документа на перекрывающиеся части и агрегирование представлений [CLS], или использование модели для длинных документов, такой как Longformer или BigBird, которая может обрабатывать последовательности длиной в тысячи токенов.

Следует ли использовать BERT-base или BERT-large?

BERT-base (110 млн параметров) является практическим выбором по умолчанию: он обучается быстрее, использует меньше памяти GPU, и его точности достаточно для большинства задач классификации. BERT-large (340 млн параметров) может добавить несколько процентных пунктов к точности в сложных задачах, но требует значительно больше вычислительных ресурсов и склонен к переобучению на меньших наборах данных.

Как справедливо оценить классификатор?

Разделите данные на обучающую, валидационную и тестовую выборки перед любым дообучением. Отчитывайтесь о макро F1 (не только о точности), чтобы была видна производительность миноритарных классов. Используйте валидационную выборку для поиска гиперпараметров и ранней остановки, а результат на тестовой выборке сообщайте только один раз в конце.

Похожие методы

Источники

  1. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of NAACL-HLT 2019 (pp. 4171–4186). Association for Computational Linguistics.

    Открыть ссылку DOI
    Скопировано.
  2. Sun, C., Qiu, X., Xu, Y., & Huang, X. (2019). How to Fine-Tune BERT for Text Classification? In China National Conference on Chinese Computational Linguistics (CCL 2019), Lecture Notes in Computer Science, vol 11856, pp. 194–206. Springer.

    Открыть ссылку DOI
    Скопировано.