TextCNN
- Автор метода
- Kim, Y.
- Год
- 2014
- Тип
- Convolutional neural network (deep learning)
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
TextCNN — это сверточная нейронная сеть для классификации текстов, представленная Юн Кимом в 2014 году, которая применяет параллельные сверточные фильтры различных размеров окна к векторным представлениям слов для захвата локальных n-грамных паттернов.
Она быстра и эффективна для анализа тональности и классификации тем.
Интуиция метода
Многие признаки, определяющие содержание предложения, представляют собой короткие фразы — два, три или четыре слова, такие как «не очень хорошо» или «настоятельно рекомендую». TextCNN скользит небольшими фильтрами по последовательности векторов слов, причем каждый фильтр действует как детектор определенного типа короткой фразы. Используя несколько размеров окна параллельно, сеть учится распознавать наиболее показательные фразы независимо от их положения в тексте, а затем использует наиболее сильные сигналы для определения метки.
История
TextCNN была представлена Юн Кимом в 2014 году (EMNLP), показав, что простая CNN, построенная на основе предобученных векторов слов, достигает высоких результатов в различных бенчмарках классификации предложений. Чжан и Уоллес (2015) провели анализ чувствительности для практиков, который исследовал, как выбор дизайна, такой как размеры окон фильтров и количество карт признаков, влияет на производительность, сделав TextCNN хорошо изученной и широко используемой базовой моделью для классификации текстов.
Когда применять
Хорошо подходит для классификации или прогнозирования на основе размеченных текстов — анализа тональности или классификации тем — при наличии достаточно большого размеченного корпуса (минимум около 200 документов, а лучше 500+) и готовых к использованию предобученных векторных представлений слов, таких как Word2Vec или GloVe. Не требует данных с нормальным распределением. На очень малых наборах текстов (менее примерно 100 документов) глубокое обучение неэффективно, и достаточно классического конвейера TF-IDF плюс машинное обучение. В диапазоне примерно от 100 до 500 документов градиентный бустинг является более безопасным выбором, поскольку TextCNN склонна к переобучению.
Ограничения и замечания
- Требует размеченный текстовый набор данных и предобученные векторные представления слов для хорошей производительности.
- Переобучается на малых корпусах: менее примерно 500 документов n-грамные паттерны не обучаются надежно.
- Менее примерно 100 документов глубокое обучение полностью неэффективно, и предпочтительны более простые модели.
- Захватывает только локальные окна, поэтому зависимости на очень больших расстояниях в документе моделировать сложнее.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Быстрая в обучении и эффективная для анализа тональности и классификации тем.
- Захватывает локальные n-грамные паттерны с помощью параллельных фильтров нескольких размеров окна.
- Независимость от позиции: max pooling извлекает ключевую фразу независимо от ее положения в тексте.
- Использует предобученные векторные представления слов для кодирования смысла без ручного создания признаков.
Применение
- Анализ тональности отзывов, комментариев и ответов на опросы.
- Классификация тем документов и коротких текстов.
- Категоризация размеченных текстов в социальных, медицинских, экономических и деловых областях.
- Быстрая базовая модель для классификации на уровне предложений перед использованием более сложных последовательных моделей.
Как это работает
Как это работает
Каждое слово во входном тексте отображается в плотное векторное представление слова (например, Word2Vec или GloVe), превращая предложение в матрицу, где каждая строка представляет собой вектор слова. Такое представление располагает слова со схожим значением близко друг к другу, предоставляя сверточному слою осмысленное численное представление текста.
Параллельные сверточные фильтры различных размеров окна (например, охватывающие 3, 4 и 5 последовательных слов) скользят по матрице векторных представлений. Каждый фильтр генерирует значение признака в каждой позиции, комбинируя слова, которые он в данный момент охватывает, таким образом захватывая локальные n-грамные паттерны везде, где они встречаются в предложении.
Формула
c_i = f(\mathbf{w} \cdot \mathbf{x}_{i:i+h-1} + b)Max-over-time pooling сохраняет только самую сильную активацию от каждого фильтра, обобщая наиболее существенную обнаруженную им фразу. Эти агрегированные признаки конкатенируются и передаются в финальный классификационный слой, который выдает предсказанный класс, такой как тональность или тема.
Формула
\hat{c} = \max_i c_iЧастые ошибки
- Обучение на слишком малом количестве размеченных документов и доверие переобученной модели.
- Использование предобученных векторных представлений и обучение векторов с нуля на малом корпусе.
- Выбор размеров окна без проверки чувствительности на валидационном наборе.
- Применение TextCNN, когда для малых данных достаточно конвейера TF-IDF плюс классическое машинное обучение.
Часто задаваемые вопросы
Сколько размеченного текста мне нужно?
TextCNN лучше всего работает с несколькими сотнями размеченных документов или более. Менее примерно 500 документов она склонна к переобучению, и n-грамные паттерны не обучаются надежно, а менее примерно 100 документов глубокое обучение полностью неэффективно — в этом случае достаточно классического конвейера TF-IDF плюс машинное обучение.
Нужны ли мне предобученные векторные представления слов?
Предобученные векторные представления, такие как Word2Vec или GloVe, предполагаются и настоятельно рекомендуются. Они кодируют смысл слов, изученный на больших корпусах, что особенно ценно, когда ваш размеченный набор данных невелик.
Что делают разные размеры окна?
Каждый размер окна позволяет фильтру рассматривать фразы разной длины — например, три, четыре или пять последовательных слов. Параллельное использование нескольких размеров позволяет захватывать n-грамные паттерны различной длины, а анализ чувствительности может помочь в их выборе.
Когда следует выбрать другой метод?
На очень малых наборах текстов (менее примерно 100 документов) используйте модель TF-IDF плюс классическое машинное обучение; в диапазоне примерно от 100 до 500 документов градиентный бустинг является более безопасным выбором, поскольку TextCNN переобучается при нехватке данных.
Похожие методы
Источники
Kim, Y. (2014). Convolutional Neural Networks for Sentence Classification. EMNLP.
Открыть ссылку DOIСкопировано.Zhang, Y. & Wallace, B. (2015). A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification. arXiv:1510.03820.
Открыть ссылку на публикациюСкопировано.