Skip to content
بازگشت به نتایج جست‌وجو

BERTopic — مدل‌سازی موضوعی عصبی

معرفی‌شده توسط
Maarten Grootendorst
سال
2022
نوع
Neural topic-modeling pipeline

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

BERTopic یک خط لوله مدل‌سازی موضوعی عصبی است که توسط مارتن گروتندورست در سال ۲۰۲۲ معرفی شد. این روش، تعبیه‌های متنی مبتنی بر BERT را با کاهش ابعاد UMAP و خوشه‌بندی HDBSCAN ترکیب می‌کند تا موضوعات منسجم و پویا تولید کند و به انسجام موضوعی بالاتری نسبت به مدل‌های موضوعی کلاسیک دست یابد.

شهود پشت روش

مدل‌های موضوعی کلاسیک، یک سند را به عنوان کیسه‌ای از کلمات در نظر می‌گیرند و به ندرت معنای کلمات را در بافت خود درک می‌کنند. در مقابل، BERTopic از تعبیه‌های متنی شروع می‌کند، بنابراین اسنادی که با کلمات متفاوت درباره یک چیز صحبت می‌کنند، در نهایت به هم نزدیک می‌شوند. این روش، اسناد نزدیک به هم را در خوشه‌ها گروه‌بندی می‌کند و سپس کلماتی را که هر خوشه را متمایز می‌کنند، استخراج می‌کند — و این کلمات متمایز به موضوع تبدیل می‌شوند. نتیجه، مجموعه‌ای از مضامین قابل فهم برای انسان است که از معنای متن نشأت می‌گیرد، نه از تعداد خام کلمات.

تاریخ

BERTopic توسط مارتن گروتندورست در سال ۲۰۲۲ به عنوان یک رویکرد مدل‌سازی موضوعی عصبی معرفی شد که تعبیه‌های ترانسفورمر را با یک رویه TF-IDF مبتنی بر کلاس جفت می‌کند. این روش برای مرحله خوشه‌بندی از الگوریتم خوشه‌بندی مبتنی بر چگالی HDBSCAN مک‌اینس، هیلی و استلز (۲۰۱۷) استفاده می‌کند و مدل‌سازی موضوعی را از روش‌های صرفاً مبتنی بر شمارش به سمت موضوعات مبتنی بر تعبیه و متمرکز بر انسجام سوق می‌دهد.

چه زمانی استفاده شود

زمانی از BERTopic استفاده کنید که یک مجموعه متنی دارید و می‌خواهید مضامین اصلی آن را بدون تعیین قبلی کشف کنید. این روش برای کارهای اکتشافی و توصیفی بر روی متن‌های مقطعی یا طولی مناسب است. تعداد کافی سند مورد نیاز است — حداقل ۵۰ سند، با توصیه بیش از ۱۰۰ سند — و GPU یا محاسبات بالا ترجیح داده می‌شود زیرا مرحله تعبیه پرهزینه است. با تعداد بسیار کمی سند، خوشه‌بندی مبتنی بر چگالی سیگنال کافی برای تشکیل موضوعات پایدار ندارد.

محدودیت‌ها و ملاحظات

  • برای تشکیل موضوعات پایدار به تعداد کافی سند — حداقل ۵۰ سند، با توصیه بیش از ۱۰۰ سند — نیاز دارد.
  • GPU یا محاسبات بالا ترجیح داده می‌شود زیرا مرحله تعبیه ترانسفورمر پرهزینه است.
  • نتایج به مدل تعبیه و تنظیمات UMAP و HDBSCAN انتخاب شده بستگی دارد.
  • HDBSCAN برخی از اسناد را به عنوان نقاط پرت بدون تخصیص باقی می‌گذارد، بنابراین هر سند یک موضوع دریافت نمی‌کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • بر اساس تعبیه‌های متنی ساخته شده است، بنابراین معنایی را که مدل‌های کیسه کلمات از دست می‌دهند، درک می‌کند.
  • موضوعات منسجم و قابل تفسیر با انسجام بالاتر از مدل‌های موضوعی کلاسیک تولید می‌کند.
  • از مدل‌سازی موضوعی پویا پشتیبانی می‌کند و نحوه تغییر موضوعات در طول زمان را در مجموعه‌های متنی دارای برچسب زمانی ردیابی می‌کند.
  • یک مدل تعبیه چندزبانه به همین خط لوله اجازه می‌دهد تا در زبان‌های مختلف کار کند.

کاربردها

  • کشف مضامین در مجموعه‌های بزرگ اسناد یا گزارش‌ها برای تحلیل اکتشافی.
  • ردیابی نحوه تکامل موضوعات در یک مجموعه متنی در طول زمان بر روی متن دارای برچسب زمانی.
  • خلاصه‌سازی پاسخ‌های نظرسنجی باز یا بررسی‌ها به مضامین قابل تفسیر.
  • سازماندهی مجموعه‌های علمی یا رسانه‌های اجتماعی به خوشه‌های موضوعی منسجم در زبان‌های مختلف.

چگونه کار می‌کند

چگونه کار می‌کند

1

هر سند با استفاده از یک مدل ترانسفورمر مبتنی بر BERT به یک تعبیه متنی تبدیل می‌شود. از آنجا که تعبیه، معنا را در بافت خود دربرمی‌گیرد، اسنادی که یک ایده را با کلمات متفاوت بیان می‌کنند، در فضای برداری به هم نزدیک می‌شوند. یک مدل چندزبانه به همین خط لوله اجازه می‌دهد تا مجموعه‌های متنی را در بسیاری از زبان‌ها پردازش کند.

2

تعبیه‌های با ابعاد بالا با UMAP به فضای با ابعاد پایین‌تر نگاشت می‌شوند. این کاهش، ساختار همسایگی محلی را دست‌نخورده نگه می‌دارد، در حالی که داده‌ها را برای مرحله خوشه‌بندی بعدی قابل مدیریت می‌کند، جایی که ابعاد بالا در غیر این صورت چگالی را کاهش می‌دهد.

3

HDBSCAN تعبیه‌های کاهش‌یافته را در خوشه‌های مبتنی بر چگالی گروه‌بندی می‌کند. از آنجا که این روش مبتنی بر چگالی است، خوشه‌هایی با اشکال مختلف را پیدا می‌کند و اسناد واقعاً پراکنده را به عنوان نقاط پرت بدون تخصیص باقی می‌گذارد، به جای اینکه هر سند را به زور در یک موضوع قرار دهد.

4

برای هر خوشه، یک امتیاز TF-IDF مبتنی بر کلاس، اصطلاحاتی را که بیشترین تمایز را برای آن خوشه دارند، رتبه‌بندی می‌کند. اصطلاحات با رتبه بالا به نمایش موضوع تبدیل می‌شوند و موضوعات منسجم و قابل تفسیر و در مجموعه‌های متنی دارای برچسب زمانی، موضوعات پویا را ارائه می‌دهند که می‌توان آنها را در طول زمان ردیابی کرد.

دام‌های رایج

  • اجرای آن بر روی تعداد بسیار کمی سند، مرحله خوشه‌بندی را بدون چگالی کافی برای تشکیل موضوعات معنی‌دار رها می‌کند.
  • انتخاب یک مدل تعبیه که با زبان مجموعه متنی مطابقت ندارد، کیفیت موضوع را کاهش می‌دهد؛ از یک مدل چندزبانه یا متناسب با دامنه استفاده کنید.
  • در نظر گرفتن اسناد پرت (بدون تخصیص) به عنوان یک شکست، به جای رفتار مورد انتظار خوشه‌بندی مبتنی بر چگالی.
  • خواندن موضوعات از اصطلاحات TF-IDF مبتنی بر کلاس بدون بررسی اسناد نماینده، که می‌تواند منجر به تفسیر بیش از حد یک برچسب شود.

پرسش‌های متداول

BERTopic چه تفاوتی با مدل‌های موضوعی کلاسیک مانند LDA دارد؟

مدل‌های کلاسیک مانند LDA بر اساس شمارش کلمات و دیدگاه کیسه کلمات از هر سند کار می‌کنند. BERTopic از تعبیه‌های ترانسفورمر متنی شروع می‌کند، آنها را با UMAP کاهش می‌دهد، با HDBSCAN خوشه‌بندی می‌کند و هر خوشه را با اصطلاحات TF-IDF مبتنی بر کلاس برچسب‌گذاری می‌کند. از آنجا که معنا را در بافت خود درک می‌کند، به طور کلی موضوعات منسجم‌تر و قابل تفسیرتری را ارائه می‌دهد.

به چند سند نیاز دارم؟

حداقل ۵۰ سند، با توصیه بیش از ۱۰۰ سند. مرحله خوشه‌بندی مبتنی بر چگالی است، بنابراین با تعداد بسیار کمی سند، سیگنال کافی برای تشکیل موضوعات پایدار وجود ندارد.

چرا برخی از اسناد من به هیچ موضوعی اختصاص داده نمی‌شوند؟

HDBSCAN یک الگوریتم خوشه‌بندی مبتنی بر چگالی است و عمداً اسناد واقعاً پراکنده یا غیرمعمول را به عنوان نقاط پرت بدون تخصیص باقی می‌گذارد، به جای اینکه آنها را به زور در یک موضوع قرار دهد. این یک رفتار مورد انتظار است، نه یک خطا.

آیا BERTopic می‌تواند متن غیرانگلیسی را پردازش کند؟

بله. با انتخاب یک مدل تعبیه چندزبانه، همین خط لوله می‌تواند مجموعه‌های متنی را در بسیاری از زبان‌ها پردازش کند؛ تطبیق مدل تعبیه با زبان مجموعه متنی برای کیفیت خوب موضوع کلیدی است.

روش‌های مرتبط

منابع

  1. Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv:2203.05794.

    باز کردن مرجع DOI
    کپی شد.
  2. McInnes, L., Healy, J. & Astels, S. (2017). hdbscan: Hierarchical density based clustering. Journal of Open Source Software, 2(11), 205.

    باز کردن مرجع DOI
    کپی شد.