Skip to content
بازگشت به نتایج جست‌وجو

رگرسیون لجستیک یادگیری فعال

معرفی‌شده توسط
Lewis, D. D. & Gale, W. A.; Settles, B. (survey)
سال
1994–2010
نوع
Active learning framework with logistic regression base learner
خانواده
Machine learning

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

یادگیری فعال با رگرسیون لجستیک یک چارچوب تکرارشونده و کم‌بازده برچسب‌گذاری است که در آن یک مدل رگرسیون لجستیک، نمونه‌های بدون برچسب را که بیشترین عدم قطعیت را نسبت به آن‌ها دارد، انتخاب می‌کند، یک اوراکل (حاشیه‌نویس انسانی) آن‌ها را برچسب‌گذاری می‌کند و مدل دوباره آموزش داده می‌شود — این فرآیند تا زمانی که بودجه برچسب‌گذاری یا هدف دقت برآورده شود، تکرار می‌شود. این روش در مقایسه با برچسب‌گذاری تصادفی، هزینه حاشیه‌نویسی را به طور چشمگیری کاهش می‌دهد.

شهود پشت روش

برچسب‌گذاری داده‌ها پرهزینه است. به جای حاشیه‌نویسی یک نمونه تصادفی، تصور کنید مدل لجستیک فقط به نمونه‌هایی اشاره می‌کند که احتمال پیش‌بینی شده آن‌ها به ۰.۵ نزدیک‌تر است — به این معنی که واقعاً نمی‌تواند تصمیم بگیرد. یک متخصص فقط این موارد مرزی را برچسب‌گذاری می‌کند و مدل دوباره آموزش داده می‌شود. از آنجایی که هر نمونه برچسب‌گذاری شده حداکثر اطلاعات را حمل می‌کند، مدل با برچسب‌های بسیار کمتر نسبت به یادگیری منفعل به دقت خوبی دست می‌یابد. رگرسیون لجستیک در اینجا ترجیح داده می‌شود زیرا احتمالات کالیبره شده‌ای را ارائه می‌دهد که مستقیماً عدم قطعیت را منعکس می‌کنند.

تاریخ

یادگیری فعال به عنوان یک چارچوب در اوایل دهه ۱۹۹۰ رسمی شد. لوئیس و گیل (۱۹۹۴) نمونه‌برداری عدم قطعیت را برای طبقه‌بندی متن با استفاده از یک یادگیرنده نایو بیز معرفی کردند و این رویکرد به سرعت برای رگرسیون لجستیک تطبیق داده شد. بررسی ستلز در سال ۲۰۱۰ به مرجع متعارف تبدیل شد و استراتژی‌های پرس‌وجو از جمله کمترین اطمینان، نمونه‌برداری حاشیه و آنتروپی را فهرست کرد. رگرسیون لجستیک به دلیل اینکه احتمالات آن کالیبره شده و هزینه بازآموزی آن کم است، همچنان رایج‌ترین یادگیرنده پایه ذکر شده در معیارهای یادگیری فعال مبتنی بر استخر باقی مانده است.

چه زمانی استفاده شود

هنگامی که حاشیه‌نویسی پرهزینه است (سوابق پزشکی، اسناد حقوقی، نظرسنجی‌های تخصصی) و داده‌های بدون برچسب فراوان هستند، اما بودجه کلی برچسب‌گذاری محدود است، از یادگیری فعال با رگرسیون لجستیک استفاده کنید. این روش برای طبقه‌بندی متن دودویی یا چندکلاسه، تحلیل احساسات و کدگذاری بالینی زمانی که ویژگی‌ها به طور منطقی به صورت خطی قابل تفکیک هستند، عالی است. از آن اجتناب کنید زمانی که (الف) مرز تصمیم‌گیری به شدت غیرخطی است و رگرسیون لجستیک حتی با مهندسی ویژگی نمی‌تواند آن را مدل کند، (ب) اوراکل غیرقابل اعتماد است یا پرس‌وجوی مکرر از آن پرهزینه است، (ج) استخر برچسب‌گذاری شده برای نظارت کامل به اندازه کافی بزرگ است، یا (د) استخر بدون برچسب برای بهره‌مندی از پرس‌وجوی انتخابی خیلی کوچک است.

محدودیت‌ها و ملاحظات

  • عملکرد زمانی که مرز تصمیم‌گیری واقعی غیرخطی است، کاهش می‌یابد؛ در چنین مواردی یک SVM هسته‌ای یا یادگیرنده فعال عصبی ترجیح داده می‌شود.
  • نمونه‌برداری عدم قطعیت می‌تواند یک مجموعه برچسب‌گذاری شده بایاس ایجاد کند که نمونه‌های مرزی را بیش از حد نشان می‌دهد و بخش عمده‌ای از هر کلاس را کمتر نشان می‌دهد.
  • نیاز به تعامل مکرر با اوراکل دارد که در مقایسه با یک دسته برچسب‌گذاری منفرد، سربار لجستیکی را افزایش می‌دهد.
  • شروع سرد: مجموعه اولیه اولیه تأثیر زیادی بر پرس‌وجوهای اولیه دارد، بنابراین یک دانه اولیه ضعیف انتخاب شده می‌تواند همگرایی را کند کند.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • تعداد برچسب‌های مورد نیاز برای رسیدن به دقت هدف را در مقایسه با نمونه‌برداری تصادفی به طور چشمگیری کاهش می‌دهد.
  • رگرسیون لجستیک احتمالات کالیبره شده بومی را ارائه می‌دهد و تخمین‌های عدم قطعیت را بدون کالیبراسیون اضافی قابل اعتماد می‌سازد.
  • شفاف و قابل حسابرسی: هم مدل خطی و هم معیار پرس‌وجو قابل بازرسی هستند.
  • از نظر محاسباتی ارزان برای بازآموزی پس از هر پرس‌وجو، که امکان گردش کارهای حاشیه‌نویسی بی‌درنگ یا نزدیک به بی‌درنگ را فراهم می‌کند.
  • به طور یکپارچه با نمایش ویژگی‌های TF-IDF یا bag-of-words به طبقه‌بندی متن منتقل می‌شود.

کاربردها

  • طبقه‌بندی متن و تحلیل احساسات با مجموعه‌های متنی برچسب‌گذاری شده محدود.
  • کدگذاری سوابق پزشکی و NLP بالینی که در آن حاشیه‌نویسی تخصصی پرهزینه است.
  • خطوط لوله حاشیه‌نویسی فعال برای نظرسنجی‌های علوم اجتماعی و تعدیل محتوا.
  • بازخورد ارتباطی بازیابی اطلاعات که در آن کاربران فقط اسناد نامطمئن را برچسب‌گذاری می‌کنند.
  • راه‌اندازی تشخیص موجودیت زیست‌پزشکی با حداقل حاشیه‌نویسی اولیه.

چگونه کار می‌کند

چگونه کار می‌کند

1

مجموعه کوچکی از نمونه‌های برچسب‌گذاری شده اولیه جمع‌آوری می‌شود — بسته به دامنه، اغلب ۱۰ تا چند صد نمونه. یک مدل رگرسیون لجستیک بر روی این مجموعه اولیه آموزش داده می‌شود تا یک مرز تصمیم‌گیری اولیه ایجاد کند. نمونه‌های باقی‌مانده بدون برچسب، استخری را تشکیل می‌دهند که پرس‌وجوها از آن استخراج خواهند شد.

2

رگرسیون لجستیک با حداکثر کردن لگاریتم درست‌نمایی مجموعه برچسب‌گذاری شده، یک مرز تصمیم‌گیری خطی را برازش می‌دهد. خروجی برای هر نمونه، احتمال P(y=1|x) = sigmoid(w^T x) است. از آنجایی که رگرسیون لجستیک احتمالات کالیبره شده تولید می‌کند، امتیازات اطمینان آن مستقیماً به عنوان تخمین عدم قطعیت قابل تفسیر هستند — دلیل کلیدی که به طور طبیعی با یادگیری فعال جفت می‌شود.

فرمول
P(y=1 \mid x) = \sigma(\mathbf{w}^\top x)
3

هر نمونه بدون برچسب در استخر با یک معیار عدم قطعیت امتیازدهی می‌شود. رایج‌ترین روش، نمونه‌برداری کمترین اطمینان است: مدل نمونه‌ای را انتخاب می‌کند که بالاترین احتمال کلاس آن کمترین باشد (یعنی مدل کمترین اطمینان را دارد). برای مسائل دودویی، این به انتخاب نقاط نزدیک به مرز تصمیم‌گیری (احتمال پیش‌بینی شده نزدیک به ۰.۵) کاهش می‌یابد.

فرمول
x^* = \arg\min_{x \in U} \max_y P(y \mid x, \hat{\theta})
4

نامطمئن‌ترین نمونه (یا دسته‌ای از k نامطمئن‌ترین نمونه‌ها) برای برچسب‌گذاری به یک حاشیه‌نویس انسانی یا اوراکل ارائه می‌شود. اوراکل برچسب کلاس واقعی را ارائه می‌دهد که به مجموعه آموزش برچسب‌گذاری شده اضافه می‌شود. یک بودجه برچسب‌گذاری ثابت تعیین می‌کند که حلقه مجاز به انجام چه تعداد پرس‌وجو است.

5

مدل رگرسیون لجستیک بر روی مجموعه برچسب‌گذاری شده گسترش یافته دوباره آموزش داده می‌شود. عملکرد بر روی یک مجموعه اعتبارسنجی نگه‌داشته شده ارزیابی می‌شود. اگر بودجه تمام نشده باشد و هدف دقت برآورده نشده باشد، حلقه به مرحله امتیازدهی عدم قطعیت بازمی‌گردد. فرآیند زمانی خاتمه می‌یابد که بودجه تمام شود یا عملکرد ثابت شود.

دام‌های رایج

  • ارزیابی عملکرد فقط بر روی مجموعه برچسب‌گذاری شده فعال انتخاب شده به جای یک مجموعه جداگانه نگه‌داشته شده i.i.d.، که تخمین‌های دقت را متورم می‌کند.
  • نادیده گرفتن عدم تعادل کلاس در مجموعه اولیه — یک دانه نامتعادل باعث می‌شود مدل تقریباً منحصراً از مرز کلاس اقلیت پرس‌وجو کند.
  • اعمال نمونه‌برداری عدم قطعیت بر روی استخری با شیفت توزیعی بین داده‌های برچسب‌گذاری شده و بدون برچسب، بدون وزن‌دهی چگالی یا تصحیح نمایندگی.
  • در نظر گرفتن مدل نهایی به عنوان یک رگرسیون لجستیک استاندارد بدون در نظر گرفتن نمونه‌برداری بایاس هنگام گزارش فواصل اطمینان یا آزمون‌های فرضیه.

پرسش‌های متداول

چرا از رگرسیون لجستیک به جای مدل قدرتمندتر استفاده کنیم؟

رگرسیون لجستیک احتمالات کالیبره شده خوبی را ارائه می‌دهد، پس از هر پرس‌وجو به سرعت بازآموزی می‌شود و قابل تفسیر است — همه اینها در حلقه‌های یادگیری فعال که مدل بارها به‌روز می‌شود و امتیازات عدم قطعیت باید قابل اعتماد باشند، حیاتی هستند. مدل‌های پیچیده‌تر را می‌توان استفاده کرد اما هزینه بازآموزی را افزایش می‌دهند و ممکن است نیاز به کالیبراسیون احتمال داشته باشند (به عنوان مثال، مقیاس‌بندی پلات برای SVMها).

به چند برچسب اولیه برای شروع نیاز دارم؟

قانون ثابتی وجود ندارد، اما ۱۰ تا ۵۰ نمونه برچسب‌گذاری شده برای هر کلاس نقاط شروع رایج در ادبیات هستند. دانه‌های بسیار کم یک مدل اولیه ناپایدار تولید می‌کنند که تخمین‌های عدم قطعیت آن غیرقابل اعتماد است؛ دانه‌های زیاد هدف یادگیری فعال را از بین می‌برند.

تفاوت بین نمونه‌برداری عدم قطعیت و پرس‌وجو توسط کمیته چیست؟

نمونه‌برداری عدم قطعیت از اطمینان پیش‌بینی یک مدل واحد برای انتخاب پرس‌وجوها استفاده می‌کند. پرس‌وجو توسط کمیته مجموعه‌ای از مدل‌ها را آموزش می‌دهد و نقاطی را انتخاب می‌کند که بیشترین اختلاف را دارند. برای رگرسیون لجستیک، نمونه‌برداری عدم قطعیت (کمترین اطمینان یا آنتروپی) رایج‌تر است زیرا فقط به یک مدل نیاز دارد.

آیا می‌توانم از پرس‌وجوهای دسته‌ای به جای یکی یکی استفاده کنم؟

بله. یادگیری فعال حالت دسته‌ای، k نمونه نامطمئن برتر را در هر دور برای کاهش فرکانس تعامل با اوراکل انتخاب می‌کند. یک روش ابتکاری رایج استفاده از اندازه دسته ۱۰ تا ۵۰ است که پس از هر دسته به جای هر پرس‌وجوی منفرد، بازآموزی انجام می‌شود.

منحنی یادگیری فعال را چگونه ارزیابی کنم؟

دقت طبقه‌بندی (یا F1، AUC) را بر روی یک مجموعه آزمون نگه‌داشته شده ثابت به عنوان تابعی از تعداد برچسب‌های پرس‌وجو شده، رسم کنید. این منحنی را با یک خط پایه نمونه‌برداری تصادفی مقایسه کنید. مساحت زیر منحنی یادگیری نسبت به نمونه‌برداری تصادفی، بهره‌وری برچسب‌گذاری را کمی می‌کند.

روش‌های مرتبط

منابع

  1. Settles, B. (2010). Active Learning Literature Survey. Computer Sciences Technical Report 1648, University of Wisconsin–Madison.

    باز کردن مرجع انتشار
    کپی شد.
  2. Lewis, D. D., & Gale, W. A. (1994). A sequential algorithm for training text classifiers. Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 3–12.

    باز کردن مرجع DOI
    کپی شد.