Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون متنی — پیش‌بینی اعداد از متن

نوع
Supervised regression on text features

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

رگرسیون مبتنی بر متن، یک متغیر هدف پیوسته را با استفاده از ویژگی‌های استخراج‌شده از متن — امتیازات TF-IDF، تعبیه‌سازی‌ها، یا n-gram ها — به عنوان متغیرهای مستقل، پیش‌بینی می‌کند. این روش با تکیه بر برنامه متن به مثابه داده که توسط Gentzkow، Kelly و Taddy (۲۰۱۹) تثبیت شد، اجازه می‌دهد تا یک نتیجه عددی مانند قیمت، رتبه‌بندی، یا امتیاز احساسات مستقیماً از اسناد تخمین زده شود و به طور گسترده در کاربردهای علوم اجتماعی، اقتصاد و امور مالی استفاده می‌شود.

شهود پشت روش

یک مدل رگرسیون به طور معمول به پیش‌بینی‌کننده‌های عددی نیاز دارد، اما ماده خام در اینجا متن است. ایده این است که هر سند را به یک بردار از اعداد تبدیل کنیم که بیانگر کلمات آن باشد، سپس رگرسیون متغیر هدف عددی را بر اساس آن ویژگی‌ها اجرا کنیم. به جای کدگذاری دستی معنای یک سند، این روش به کلمات اجازه می‌دهد تا خودشان — وزن‌دهی شده بر اساس میزان اطلاع‌رسانی‌شان — پیش‌بینی یک کمیت پیوسته را هدایت کنند.

تاریخ

رگرسیون متنی در جنبش گسترده‌تر متن به مثابه داده که توسط Gentzkow، Kelly و Taddy (۲۰۱۹) بررسی شد، قرار می‌گیرد، که چارچوبی برای چگونگی خدمت متن بدون ساختار به عنوان ورودی مدل‌های اقتصادسنجی و آماری ارائه داد. Taddy (۲۰۱۳) با معرفی رگرسیون معکوس چندجمله‌ای برای بازیابی احساسات و سایر کمیت‌ها از شمارش کلمات، استفاده پیش‌بینی‌کننده از متن را پیش برد و نشان داد که چگونه نتایج عددی را می‌توان از ویژگی‌های متنی خواند.

چه زمانی استفاده شود

هنگامی که یک پیش‌بینی‌کننده متنی و یک نتیجه عددی پیوسته دارید که می‌خواهید از آن پیش‌بینی کنید، با حداقل حدود پنجاه سند برای یادگیری، از رگرسیون متنی استفاده کنید. متن باید ابتدا برداری شود و کاهش ابعاد اغلب با توجه به گستردگی فضاهای ویژگی متنی مفید است. این روش ورودی‌های با توزیع نرمال را فرض نمی‌کند. با اسناد بسیار کمتر، یا بدون متغیر هدف عددی برای رگرسیون، این روش مناسب نیست.

محدودیت‌ها و ملاحظات

  • به نمونه‌ای معقول (حدود پنجاه سند یا بیشتر) برای تخمین ضرایب پایدار نیاز دارد.
  • متن باید ابتدا برداری شود و ابعاد بسیار بالا معمولاً نیازمند کاهش ابعاد است.
  • کیفیت پیش‌بینی به این بستگی دارد که ویژگی‌های متنی انتخاب‌شده چقدر خوب سیگنال مربوط به متغیر هدف عددی را حمل می‌کنند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • اجازه می‌دهد تا یک نتیجه پیوسته مستقیماً از متن پیش‌بینی شود، بدون کدگذاری دستی محتوای سند.
  • با چندین نوع ویژگی کار می‌کند — TF-IDF، تعبیه‌سازی‌ها، یا n-gram ها — بنابراین نمایش می‌تواند با پیکره مطابقت داشته باشد.
  • به ورودی‌های با توزیع نرمال نیاز ندارد و ویژگی‌های پراکنده و با ابعاد بالای متن را برازش می‌کند.

کاربردها

  • تخمین رتبه‌بندی‌ها یا امتیازات عددی از متن نقد و بازخورد.
  • پیش‌بینی مقادیر مالی یا بازاری از اخبار، پرونده‌ها و افشاگری‌ها.
  • بازیابی امتیازات احساسات یا نگرش پیوسته از متن رسانه‌های اجتماعی در تحقیقات علوم اجتماعی.
  • پیوند دادن محتوای نوشته شده به نتایج اندازه‌گیری شده در مطالعات اقتصاد و سیاست.

چگونه کار می‌کند

چگونه کار می‌کند

1

هر سند به ویژگی‌های عددی تبدیل می‌شود تا متن به ورودی آماده برای رگرسیون تبدیل شود. این مرحله برداری‌سازی، امتیازات TF-IDF، تعبیه‌سازی‌های کلمه یا سند، یا شمارش n-gram ها را تولید می‌کند — تبدیل کلمات بدون ساختار به متغیرهای مستقلی که رگرسیون آن‌ها را می‌خواند.

2

از آنجایی که بردارهای متنی معمولاً ابعاد بسیار بالایی دارند، کاهش ابعاد اغلب برای فشرده‌سازی فضای ویژگی قبل از برازش اعمال می‌شود. هرس کردن ویژگی‌های زائد یا پراکنده، مدل را پایدار نگه می‌دارد و به آن کمک می‌کند تا تعمیم یابد به جای اینکه کلمات نادر را حفظ کند.

3

یک مدل رگرسیون برای نگاشت ویژگی‌های متنی به متغیر هدف پیوسته آموزش داده می‌شود. یک رگرسیور خطی منظم، تناسب طبیعی برای ماتریس‌های ویژگی گسترده و پراکنده‌ای است که متن تولید می‌کند، و ضرایبی را یاد می‌گیرد که کلمات را به نتیجه عددی پیوند می‌دهند.

4

مدل برازش‌شده با استفاده از معیارهای رگرسیون بر روی داده‌های نگه‌داشته‌شده امتیازدهی می‌شود و بزرگترین خطاها قبل از اطمینان به مدل بررسی می‌شوند. این کار از مدلی که متن آموزشی را برازش می‌کند اما در پیش‌بینی متغیر هدف بر روی اسناد جدید شکست می‌خورد، محافظت می‌کند.

دام‌های رایج

  • نادیده گرفتن کاهش ابعاد بر روی یک ماتریس ویژگی بسیار گسترده، خطر بیش‌برازش به کلمات نادر را افزایش می‌دهد.
  • برازش بر روی تعداد اسناد کم، ضرایب ناپایداری تولید می‌کند که تعمیم نمی‌یابند.
  • استفاده مجدد از یک بردارساز یا مدل ساخته شده بر روی یک پیکره یا دامنه برای دیگری، پیش‌بینی‌ها را کاهش می‌دهد؛ مجدداً بر روی متن هدف برازش کنید.
  • قضاوت مدل صرفاً بر اساس برازش آموزشی — همیشه بر روی داده‌های نگه‌داشته‌شده ارزیابی کنید و بزرگترین خطاها را بررسی کنید.

پرسش‌های متداول

رگرسیون متنی چه نوع هدفی را پیش‌بینی می‌کند؟

یک متغیر عددی پیوسته — به عنوان مثال قیمت، رتبه‌بندی، یا امتیاز احساسات. اگر هدف به جای عدد یک دسته باشد، طبقه‌بندی متنی روش مناسب‌تری است.

از کدام ویژگی‌های متنی باید به عنوان پیش‌بینی‌کننده استفاده کنم؟

امتیازات TF-IDF، تعبیه‌سازی‌های کلمه یا سند، و شمارش n-gram ها همگی انتخاب‌های استانداردی هستند. بهترین نمایش به پیکره و سیگنالی که انتظار دارید کلمات در مورد متغیر هدف حمل کنند، بستگی دارد.

به چه مقدار داده نیاز دارم؟

این روش در حدود پنجاه سند یا بیشتر را انتظار دارد تا رگرسیون بتواند ضرایب پایدار را تخمین بزند. از آنجایی که ویژگی‌های متنی دارای ابعاد بالا هستند، کاهش ابعاد حتی زمانی که نمونه کافی است، اغلب توصیه می‌شود.

چرا کاهش ابعاد توصیه می‌شود؟

برداری‌سازی متن ماتریس‌های ویژگی بسیار گسترده و پراکنده‌ای تولید می‌کند. کاهش ابعاد، ویژگی‌های زائد را فشرده می‌کند، برازش را تثبیت می‌کند و به مدل کمک می‌کند تا تعمیم یابد به جای اینکه کلمات نادر را حفظ کند.

روش‌های مرتبط

منابع

  1. Gentzkow, M., Kelly, B. & Taddy, M. (2019). Text as Data. Journal of Economic Literature, 57(3), 535-574.

    باز کردن مرجع DOI
    کپی شد.
  2. Taddy, M. (2013). Measuring Political Sentiment on Twitter: Factor Optimal Design for Multinomial Inverse Regression. Technometrics, 55(4), 415-425.

    باز کردن مرجع DOI
    کپی شد.