Skip to content
Назад к результатам поиска

Векторные представления BERT — Контекстуализированные текстовые представления

Автор метода
Devlin, Chang, Lee & Toutanova (Google AI)
Год
2019
Тип
Contextual transformer text-representation method

Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском

Размер шрифта

Что он делает?

Текстовые векторные представления на основе BERT, представленные Девлином и его коллегами из Google AI в 2019 году, преобразуют текст в контекстно-зависимые плотные векторы с использованием двунаправленного энкодера Transformer.

Поскольку значение слова меняется в зависимости от контекста, BERT создает более богатые представления, чем статические методы, такие как Word2Vec, или тематические модели, такие как LDA.

Интуиция метода

Слово, такое как «банк», имеет разное значение на реке и в финансовой сфере, однако более старые методы векторных представлений присваивают ему один фиксированный вектор независимо от того, где оно появляется. BERT читает каждое слово вместе со словами вокруг него, поэтому одно и то же слово получает разный вектор в зависимости от предложения. Такое контекстуальное чтение позволяет представлениям улавливать смысл, который упускают статические векторные представления слов.

История

BERT был представлен Девлином, Чангом, Ли и Тоутановой (2019), которые предварительно обучили глубокий двунаправленный Transformer на больших текстовых корпусах и показали высокие результаты в различных задачах понимания языка. Последующая исследовательская работа Тенни и коллег (2019) показала, что BERT внутренне воссоздает этапы классического конвейера NLP, помогая объяснить, почему его контекстуальные векторные представления несут такую богатую лингвистическую информацию.

Когда применять

Векторные представления BERT подходят, когда у вас есть текстовые данные и вам нужны представления, учитывающие контекст, а также когда предварительно обученная модель соответствует языку и предметной области этого корпуса. Они подходят для объяснительных, классификационных задач и задач анализа взаимосвязей. При наличии менее чем около 100 документов дообучение нецелесообразно — предпочтите статические предварительно обученные представления, такие как GloVe — а если текстовых данных нет совсем, то векторные представления BERT не могут быть получены.

Ограничения и замечания

  • Необходимо выбрать подходящую модель — многоязычную или специфичную для предметной области — соответствующую корпусу.
  • Рекомендуется использовать GPU для больших наборов данных, поскольку кодирование является вычислительно затратным.
  • Дообучение нецелесообразно на очень малых корпусах (менее ~100 документов).
  • Векторные представления являются высокоразмерными и менее непосредственно интерпретируемыми, чем признаки, основанные на частоте или лексиконе.

Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.

Сильные стороны

  • Контекстно-зависимые: одно и то же слово получает разные векторы в зависимости от окружающего текста.
  • Более богатые представления, чем статические методы, такие как Word2Vec или тематические модели, такие как LDA.
  • Двунаправленное кодирование читает каждый токен в свете полного контекста с обеих сторон.
  • Предварительно обученные модели охватывают множество языков и специализированных предметных областей, поэтому анализ можно начать без обучения с нуля.

Применение

  • Классификация текста с использованием контекстно-зависимых представлений документов.
  • Измерение семантического сходства между документами или отрывками.
  • Анализ взаимосвязей и объяснительный анализ текста, где значение слова зависит от контекста.
  • Создание признаков для последующих моделей NLP в исследованиях в области здравоохранения, социальных наук, экономики и бизнеса.

Как это работает

Как это работает

1

Выбирается соответствующая предварительно обученная модель BERT, соответствующая корпусу — многоязычная модель для неанглийского или смешанного текста, или модель, специфичная для предметной области, когда текст поступает из специализированной области. Выбор модели, соответствующей языку и предметной области корпуса, является решением, которое наиболее сильно влияет на качество векторных представлений.

2

Каждый документ разбивается на субсловные токены, которые ожидает выбранная модель. Токенизация разбивает слова на единицы, на которых модель была предварительно обучена, так что даже незнакомые или составные слова могут быть представлены.

3

Двунаправленный энкодер Transformer проходит по токенам и создает контекстно-зависимый вектор для каждого из них, читая каждый токен в свете окружающего текста. Одно и то же слово дает разные векторы в разных контекстах, что и придает представлению его богатство.

4

Полученные векторные представления используются для последующих задач — классификации, определения сходства или анализа взаимосвязей, а на больших корпусах модель может быть дообучена под задачу. Рекомендуется использовать GPU для больших наборов данных, поскольку кодирование множества документов является вычислительно затратным.

Частые ошибки

  • Применение английской модели к тексту на другом языке снижает качество; выберите многоязычную модель или модель, соответствующую языку.
  • Дообучение BERT на малом наборе данных (менее ~100 документов) не работает — вернитесь к статическим предварительно обученным представлениям, таким как GloVe.
  • При полном отсутствии текстовых данных векторные представления BERT не могут быть сгенерированы — рассмотрите кластеризацию на структурированных данных вместо этого.
  • Кодирование больших корпусов без GPU может быть непомерно медленным.

Часто задаваемые вопросы

Чем BERT отличается от Word2Vec или GloVe?

Word2Vec и GloVe присваивают каждому слову один статический вектор независимо от контекста. BERT является контекстуальным: он читает каждое слово вместе с окружающим текстом и создает разный вектор для одного и того же слова в разных предложениях, что позволяет уловить смысл, который упускают статические векторные представления.

Сколько текста мне нужно?

Генерация векторных представлений из предварительно обученной модели работает даже на малых корпусах (примерно от десяти документов и выше). Однако дообучение модели под вашу задачу требует большего набора данных — при наличии менее чем около 100 документов предпочтите вместо этого статические предварительно обученные представления, такие как GloVe.

Нужен ли мне GPU?

Не для малых наборов данных, но GPU рекомендуется для больших, поскольку кодирование множества документов через Transformer является вычислительно затратным и может быть очень медленным на CPU.

Может ли BERT обрабатывать языки, отличные от английского?

Да, при условии выбора модели, соответствующей языку — многоязычной модели или модели, обученной для конкретного языка или предметной области вашего корпуса. Применение модели, ориентированной только на английский язык, к тексту на другом языке является частой причиной плохих результатов.

Похожие методы

Источники

  1. Devlin, J., Chang, M.-W., Lee, K. & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL-HLT, 4171-4186.

    Открыть ссылку DOI
    Скопировано.
  2. Tenney, I., Das, D. & Pavlick, E. (2019). BERT Rediscovers the Classical NLP Pipeline. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), 4593-4601.

    Открыть ссылку DOI
    Скопировано.