درخت تصمیم
- معرفیشده توسط
- Breiman, Friedman, Olshen & Stone
- سال
- 1984
- نوع
- Recursive partitioning (if-then rules)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
درخت تصمیم یک روش طبقهبندی و رگرسیون قابل تفسیر است که توسط بریمن، فریدمن، اولشن و استون در چارچوب CART آنها در سال 1984 رسمیت یافت. این روش دادهها را با قوانین سلسلهمراتبی «اگر-آنگاه» تقسیمبندی میکند. هر تقسیم، مشاهدات را به یک شاخه یا دیگری هدایت میکند تا زمانی که پیشبینی از برگ خوانده شود.
شهود پشت روش
یک درخت تصمیم را به عنوان یک فلوچارت از سوالات بله/خیر در نظر بگیرید. با شروع از تمام دادهها، درخت به طور مکرر یک سوال واحد در مورد یک ویژگی میپرسد که بهترین جداسازی موارد را انجام میدهد — برای مثال، «آیا سن بالای 40 سال است؟» — و دادهها را به دو گروه تقسیم میکند. این فرآیند تقسیم هر گروه را ادامه میدهد تا زمانی که موارد درون آن به طور معقولی همگن شوند، و گروههای نهایی (برگها) پیشبینی را ارائه میدهند. زنجیره سوالات از ریشه تا یک برگ، یک قانون است که هر خوانندهای میتواند آن را دنبال کند.
تاریخ
درختان تصمیم توسط لئو بریمن، جروم فریدمن، ریچارد اولشن و چارلز استون در تکنگاری آنها در سال 1984 با عنوان «درختان طبقهبندی و رگرسیون» (Classification and Regression Trees) بر پایه محکمی قرار گرفتند، که الگوریتم CART و استفاده آن از معیارهای ناخالصی مانند شاخص جینی را معرفی کرد. ساختار شفاف «اگر-آنگاه» درختان را به یک عنصر اصلی تحلیل کاربردی تبدیل کرد، و آنها بعدها به بلوک سازنده اصلی مجموعههای قدرتمندتر تبدیل شدند — که در جنگلهای تصادفی (Random Forests) بستهبندی شدند و در گرادیان بوستینگ (Gradient Boosting) تقویت شدند — جایی که بسیاری از درختان برای غلبه بر ناپایداری هر درخت واحد ترکیب میشوند.
چه زمانی استفاده شود
هنگامی که یک مدل قابل تفسیر برای طبقهبندی، پیشبینی یا توضیح بر روی دادههای جدولی مقطعی با حداقل حدود 30 مشاهده، با ترکیب ویژگیهای پیوسته، دستهای، باینری و ترتیبی میخواهید، از یک درخت تصمیم استفاده کنید. مقیاسبندی ویژگیها لازم نیست و قوانین به راحتی قابل انتقال هستند. زیر حدود 30 مورد، درخت به راحتی بیشبرازش میکند — برگها میتوانند یک مشاهده واحد را در خود جای دهند — و یک مدل سادهتر و پایدارتر مانند رگرسیون لجستیک یا بیز ساده (naive Bayes) ایمنتر است.
محدودیتها و ملاحظات
- مستعد بیشبرازش است مگر اینکه از طریق max_depth یا min_samples_leaf هرس شود.
- در نمونههای کوچک (n زیر حدود 30) درخت به راحتی بیشبرازش میکند، با برگهایی که ممکن است شامل یک مشاهده واحد باشند.
- پس از هرس، یک درخت با نمونه کوچک ممکن است تعداد تقسیمات بسیار کمی برای مفید بودن حفظ کند، در حالی که رگرسیون لجستیک پایدارتر است.
- یک درخت واحد ناپایدار است — تغییرات کوچک داده میتواند ساختار بسیار متفاوتی ایجاد کند.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- بسیار قابل تفسیر: مسیر از ریشه تا برگ یک قانون ساده «اگر-آنگاه» است.
- مقیاسبندی ویژگیها لازم نیست؛ ویژگیهای پیوسته، دستهای، باینری و ترتیبی را مستقیماً مدیریت میکند.
- دشواری کم — حتی برای کاربران مبتدی نیز مناسب است.
- به عنوان بلوک سازنده مجموعههایی مانند جنگل تصادفی (Random Forest) و گرادیان بوستینگ (Gradient Boosting) عمل میکند.
کاربردها
- طبقهبندی قابل تفسیر دادههای جدولی مقطعی.
- پیشبینی و بخشبندی ریسک در جایی که قوانین شفاف ارزش دارند.
- تحلیل توضیحی برای آشکار کردن اینکه کدام ویژگیها و آستانهها یک نتیجه را هدایت میکنند.
- یک یادگیرنده پایه در مجموعههایی مانند جنگل تصادفی (Random Forest) و گرادیان بوستینگ (Gradient Boosting).
چگونه کار میکند
چگونه کار میکند
در هر گره، درخت تمام ویژگیها و هر آستانه ممکن را برای تقسیمی که بیشترین بهبود را در خلوص ایجاد میکند، جستجو میکند — الگوریتم CART معمولاً از شاخص جینی یا بهره اطلاعات برای طبقهبندی استفاده میکند. تقسیمی که بیشترین کاهش را در ناخالصی ایجاد میکند، انتخاب میشود، بنابراین هر شاخه شامل مواردی است که نسبت به قبل شبیهتر هستند.
فرمول
\Delta i = i(t) - p_L\, i(t_L) - p_R\, i(t_R)
تقسیم انتخاب شده اعمال میشود و رویه در هر شاخه حاصله تکرار میشود و دادهها را بارها و بارها تقسیمبندی میکند. از آنجا که مقیاسبندی ویژگیها لازم نیست، ویژگیهای پیوسته، دستهای، باینری و ترتیبی همگی میتوانند مستقیماً استفاده شوند. اگر کنترل نشود، درخت به رشد خود ادامه میدهد تا برگها تقریباً خالص شوند — که دقیقاً همان جایی است که بیشبرازش (overfitting) وارد میشود.
برای کنترل بیشبرازش، درخت مهار میشود — با محدود کردن عمق (max_depth)، نیاز به حداقل تعداد موارد در هر برگ (min_samples_leaf)، یا هرس کردن شاخههایی که ارزش کمی اضافه میکنند. نتیجه یک مجموعه فشرده از قوانین قابل خواندن است: مسیر از ریشه تا برگ یک قانون تصمیم شفاف است، به همین دلیل درختان تصمیم حتی برای مبتدیان نیز مناسب هستند.
دامهای رایج
- رشد درخت تا عمق کامل بدون محدود کردن max_depth یا min_samples_leaf.
- اعتماد به یک درخت عمیق واحد با کمتر از حدود 30 مشاهده.
- خواندن یک درخت شکننده با نمونه کوچک به عنوان توضیحی پایدار از دادهها.
- گزارش دقت دروننمونهای بدون تقسیم آموزش/آزمایش یا اعتبارسنجی متقابل.
پرسشهای متداول
یک تقسیم چگونه انتخاب میشود؟
الگوریتم CART تقسیمات کاندید را در تمام ویژگیها و آستانهها ارزیابی میکند و تقسیمی را انتخاب میکند که بیشترین کاهش را در ناخالصی گره ایجاد کند، که معمولاً با شاخص جینی یا بهره اطلاعات برای طبقهبندی اندازهگیری میشود.
چرا یک درخت تصمیم بیشبرازش میکند و چگونه آن را متوقف کنم؟
اگر آزادانه رشد کند، یک درخت به تقسیم ادامه میدهد تا برگها تقریباً خالص شوند و نویز را به خاطر بسپارد. آن را با محدود کردن عمق (max_depth)، نیاز به حداقل تعداد موارد در هر برگ (min_samples_leaf)، یا هرس کردن شاخههایی که ارزش کمی اضافه میکنند، مهار کنید.
به چه مقدار داده نیاز دارم؟
حداقل حدود 30 مشاهده را هدف قرار دهید. کمتر از آن، درخت به راحتی بیشبرازش میکند — برگها میتوانند شامل یک مورد واحد باشند — و یک مدل سادهتر مانند رگرسیون لجستیک یا بیز ساده (naive Bayes) پایدارتر است.
یک درخت تصمیم چه ارتباطی با جنگل تصادفی (Random Forest) دارد؟
یک درخت تصمیم واحد، بلوک سازنده مجموعهها است: جنگل تصادفی (Random Forest) درختان زیادی را بر روی دادههای بازنمونهبرداری شده رشد میدهد و آرای آنها را ترکیب میکند، و گرادیان بوستینگ (Gradient Boosting) درختان را به صورت متوالی میسازد — هر دو شفافیت درخت واحد را با دقت و پایداری بیشتر معاوضه میکنند.
روشهای مرتبط
منابع
Breiman, L., Friedman, J.H., Olshen, R.A. & Stone, C.J. (1984). Classification and Regression Trees. Wadsworth.
باز کردن مرجع DOIکپی شد.