Регрессия на тексте — прогнозирование чисел по тексту
- Тип
- Supervised regression on text features
Этот текст переведён машинным способом и ещё не проверен. Читать оригинал на английском
Что он делает?
Регрессия на основе текста прогнозирует непрерывную целевую переменную, используя признаки, извлеченные из текста — оценки TF-IDF, вложения или n-граммы — в качестве независимых переменных.
Опираясь на программу «текст как данные», консолидированную Gentzkow, Kelly и Taddy (2019), она позволяет напрямую оценивать числовой результат, такой как цена, рейтинг или оценка тональности, по документам и широко используется в социальных науках, экономике и финансах.
Интуиция метода
Регрессионная модель обычно требует числовых предикторов, но исходным материалом здесь является текст. Идея состоит в том, чтобы преобразовать каждый документ в вектор чисел, который отражает его формулировку, а затем выполнить регрессию числовой цели по этим признакам. Вместо ручного кодирования значения документа метод позволяет самим словам — взвешенным по их информативности — управлять прогнозированием непрерывной величины.
История
Регрессия на тексте находится в рамках более широкого движения «текст как данные», рассмотренного Gentzkow, Kelly и Taddy (2019), которое определило, как неструктурированный текст может служить входными данными для эконометрических и статистических моделей. Taddy (2013) продвинул предиктивное использование текста, представив мультиномиальную обратную регрессию для восстановления тональности и других величин из подсчетов слов, иллюстрируя, как числовые результаты могут быть получены из текстовых признаков.
Когда применять
Используйте регрессию на тексте, когда у вас есть текстовый предиктор и непрерывная числовая цель, которую вы хотите предсказать по нему, имея по крайней мере примерно пятьдесят документов для обучения. Текст должен быть сначала векторизован, а снижение размерности часто полезно, учитывая, насколько широки пространства текстовых признаков. Метод не предполагает нормально распределенные входные данные. При гораздо меньшем количестве документов или при отсутствии числовой цели для регрессии метод не подходит.
Ограничения и замечания
- Требует разумной выборки (около пятидесяти документов или более) для оценки стабильных коэффициентов.
- Текст должен быть сначала векторизован, а очень высокая размерность обычно требует снижения размерности.
- Прогностическое качество зависит от того, насколько хорошо выбранные текстовые признаки несут сигнал о числовой цели.
Условия из источника не заменяют независимую научную проверку или валидацию аналитическим движком.
Сильные стороны
- Позволяет предсказывать непрерывную цель непосредственно из текста, без ручного кодирования содержания документа.
- Работает с несколькими типами признаков — TF-IDF, вложениями или n-граммами — поэтому представление может соответствовать корпусу.
- Не требует нормально распределенных входных данных, подгоняя разреженные, высокоразмерные признаки, которые производит текст.
Применение
- Оценка числовых рейтингов или оценок по тексту отзывов и обратной связи.
- Прогнозирование финансовых или рыночных показателей по новостям, отчетам и раскрытиям информации.
- Восстановление непрерывных оценок тональности или отношения из текста социальных сетей в исследованиях социальных наук.
- Связывание письменного контента с измеренными результатами в исследованиях экономики и политики.
Как это работает
Как это работает
Каждый документ преобразуется в числовые признаки, так что текст становится готовым к регрессии входным сигналом. Этот шаг векторизации дает оценки TF-IDF, вложения слов или документов или подсчеты n-грамм — превращая неструктурированную формулировку в независимые переменные, которые будет считывать регрессия.
Поскольку текстовые векторы обычно имеют очень высокую размерность, часто применяется снижение размерности для сжатия пространства признаков перед подгонкой. Обрезка избыточных или разреженных признаков сохраняет стабильность модели и помогает ей обобщать, а не запоминать редкие формулировки.
Регрессионная модель обучается отображать текстовые признаки на непрерывную цель. Регуляризованный линейный регрессор естественно подходит для широких, разреженных матриц признаков, которые производит текст, изучая коэффициенты, связывающие формулировку с числовым результатом.
Подгонка модели оценивается на отложенных данных с использованием метрик регрессии, и проверяются наибольшие ошибки, прежде чем модели можно будет доверять. Это защищает от модели, которая подгоняется под обучающий текст, но не может предсказать цель на новых документах.
Частые ошибки
- Пропуск снижения размерности на очень широкой матрице признаков приглашает переобучение на редких формулировках.
- Подгонка на слишком малом количестве документов дает нестабильные коэффициенты, которые не обобщаются.
- Повторное использование векторизатора или модели, построенной на одном корпусе или домене, для другого ухудшает прогнозы; переобучите на целевом тексте.
- Оценка модели только по подгонке к обучающим данным — всегда оценивайте на отложенных данных и проверяйте наибольшие ошибки.
Часто задаваемые вопросы
Какой тип цели предсказывает регрессия на тексте?
Непрерывная числовая переменная — например, цена, рейтинг или оценка тональности. Если цель является категорией, а не числом, вместо этого используется классификация текста.
Какие текстовые признаки следует использовать в качестве предикторов?
Оценки TF-IDF, вложения слов или документов и подсчеты n-грамм — все это стандартные варианты. Лучшее представление зависит от корпуса и сигнала, который, как вы ожидаете, будет нести формулировка о цели.
Сколько данных мне нужно?
Метод ожидает порядка пятидесяти документов или более, чтобы регрессия могла оценить стабильные коэффициенты. Поскольку текстовые признаки имеют высокую размерность, снижение размерности часто рекомендуется, даже когда выборка адекватна.
Почему рекомендуется снижение размерности?
Векторизация текста создает очень широкие, разреженные матрицы признаков. Снижение размерности сжимает избыточные признаки, стабилизирует подгонку и помогает модели обобщать, а не запоминать редкие формулировки.
Похожие методы
Источники
Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.
Открыть ссылку DOIСкопировано.Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.
Открыть ссылку DOIСкопировано.