جنگل ایزوله (Isolation Forest)
- معرفیشده توسط
- Liu, F.T., Ting, K.M. & Zhou, Z.-H.
- سال
- 2008
- نوع
- Unsupervised ensemble (random partitioning trees)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
جنگل ایزوله یک روش یادگیری ماشین بدون نظارت برای تشخیص ناهنجاری و دادههای پرت است که توسط لیو، تینگ و ژو در سال ۲۰۰۸ معرفی شد. این روش ناهنجاریها را از طریق تقسیمبندی تصادفی دادهها ایزوله میکند. این روش بدون نیاز به دادههای ناهنجار برچسبگذاریشده کار میکند و برای مجموعهدادههای با ابعاد بالا مقیاسپذیر است.
شهود پشت روش
ایده اصلی ساده است: ناهنجاریها کمتعداد و متفاوت هستند، بنابراین جداسازی آنها از بقیه دادهها آسان است. اگر دادهها را به صورت تصادفی تقسیم کنید، یک نقطه عادی در یک منطقه متراکم قرار میگیرد و برای ایزوله شدن به برشهای زیادی نیاز دارد، در حالی که یک داده پرت جداگانه قرار میگیرد و پس از تنها چند برش جدا میشود. شمارش تعداد برشهای لازم برای ایزوله کردن هر نقطه، این شهود را به یک امتیاز ناهنجاری تبدیل میکند.
تاریخ
جنگل ایزوله توسط فی تونی لیو، کای مینگ تینگ و ژی-هوا ژو در سال ۲۰۰۸ در کنفرانس بینالمللی IEEE در زمینه دادهکاوی پیشنهاد شد. این روش فلسفه متفاوتی را برای تشخیص دادههای پرت معرفی کرد: به جای پروفایلسازی دادههای عادی و اندازهگیری انحراف، ناهنجاریها را مستقیماً از طریق تقسیمبندی تصادفی ایزوله میکند، با بهرهگیری از این واقعیت که ناهنجاریها کمتعداد و متفاوت هستند. این رویکرد به ابزاری پرکاربرد و مقیاسپذیر برای تشخیص ناهنجاری بدون نظارت در دادههای با ابعاد بالا تبدیل شد.
چه زمانی استفاده شود
از جنگل ایزوله برای تشخیص ناهنجاریها یا دادههای پرت در دادههای پیوسته، احتمالاً با ابعاد بالا، مقطعی یا سری زمانی با حداقل حدود ۵۰ مشاهده استفاده کنید، به ویژه زمانی که هیچ ناهنجاری برچسبگذاریشدهای برای یادگیری ندارید. این روش نیازی به دادههای ناهنجار برچسبگذاریشده ندارد و با افزایش تعداد ویژگیها به خوبی مقیاسپذیر است؛ شما یک پارامتر آلودگی را ارائه میدهید که نرخ ناهنجاری مورد انتظار را بیان میکند. با کمتر از حدود ۵۰ مشاهده، مرز بین نقاط عادی و ناهنجار نامطمئن میشود و روشهای آماری تشخیص داده پرت یا تحلیل مؤلفههای اصلی (PCA) ایمنتر هستند.
محدودیتها و ملاحظات
- در نمونههای کوچک (n کمتر از حدود ۵۰) مرز بین نقاط عادی و ناهنجار نامشخص است و نرخ مثبت کاذب بالا است.
- بدون وجود ناهنجاریهای واقعی کافی، پارامتر آلودگی بیمعنی میشود و روشهای آماری تشخیص داده پرت ارجحیت دارند.
- این روش امتیازات ناهنجاری را برمیگرداند نه ضرایب قابل تفسیر یا قوانین صریح.
- نتایج به مقدار آلودگی انتخاب شده بستگی دارد، که باید از دانش حوزه تعیین شود.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- بدون نظارت: برای علامتگذاری دادههای پرت نیازی به دادههای ناهنجار برچسبگذاریشده ندارد.
- به خوبی برای دادههای با ابعاد بالا مقیاسپذیر است.
- ناهنجاریها را مستقیماً ایزوله میکند به جای مدلسازی کل توزیع نرمال، که کارایی آن را حفظ میکند.
- یک پارامتر آلودگی واحد، نرخ ناهنجاری مورد انتظار را بیان کرده و آستانه علامتگذاری را تعیین میکند.
کاربردها
- تشخیص دادههای پرت و ناهنجاری بدون نظارت در دادههای پیوسته.
- غربالگری مجموعهدادههای با ابعاد بالا که در آنها ناهنجاریهای برچسبگذاریشده وجود ندارد.
- علامتگذاری مشاهدات غیرمعمول در دادههای مقطعی یا سری زمانی قبل از مدلسازی.
- بررسی کیفیت دادهها و تشخیص اکتشافی رکوردهای نامنظم.
چگونه کار میکند
چگونه کار میکند
جنگل ایزوله منطق معمول تشخیص دادههای پرت را معکوس میکند. به جای ساختن یک پروفایل از نقاط عادی و علامتگذاری هر آنچه که از آن منحرف میشود، مستقیماً از این واقعیت بهره میبرد که ناهنجاریها کمتعداد و متفاوت هستند و بنابراین سریعتر ایزوله میشوند. از آنجا که نیازی به ناهنجاریهای برچسبگذاریشده ندارد، کاملاً بدون نظارت است و به خوبی برای دادههای با ابعاد بالا مقیاسپذیر است.
این روش درختان تقسیمبندی تصادفی زیادی میسازد. در هر درخت، دادهها به صورت بازگشتی با انتخاب تصادفی یک ویژگی و یک مقدار تقسیم تصادفی تقسیم میشوند و فضا را به مناطق کوچکتر و کوچکتر تقسیم میکنند تا زمانی که هر نقطه به تنهایی قرار گیرد. ایزوله کردن یک نقطه عادی — که در یک منطقه شلوغ دفن شده است — به پارتیشنهای زیادی نیاز دارد، در حالی که یک ناهنجاری که به تنهایی قرار دارد، پس از تنها چند پارتیشن جدا میشود.
طول مسیر هر نقطه — تعداد تقسیمهای لازم برای ایزوله کردن آن — در سراسر جنگل میانگینگیری شده و به یک امتیاز ناهنجاری تبدیل میشود: مسیرهای میانگین کوتاه به معنای ناهنجاریهای احتمالی هستند، مسیرهای طولانی به معنای نقاط عادی احتمالی. پارامتر آلودگی (contamination parameter)، نسبت مورد انتظار ناهنجاریها، آستانهای را تعیین میکند که تصمیم میگیرد کدام نقاط در نهایت به عنوان دادههای پرت علامتگذاری شوند.
فرمول
s(x) = 2^{-\frac{E(h(x))}{c(n)}}دامهای رایج
- اجرای آن بر روی کمتر از حدود ۵۰ مشاهده و اعتماد به ناهنجاریهای علامتگذاریشده.
- تنظیم پارامتر آلودگی بدون وجود ناهنجاریهای واقعی کافی در دادهها برای پشتیبانی از آن.
- برخورد با امتیازات ناهنجاری به عنوان احتمالات دقیق به جای یک رتبهبندی نسبی.
- نادیده گرفتن مقیاسبندی ویژگیها و تأثیر ویژگیهای نامربوط بر تقسیمات تصادفی.
پرسشهای متداول
آیا برای استفاده از جنگل ایزوله به ناهنجاریهای برچسبگذاریشده نیاز دارم؟
خیر. این یک روش بدون نظارت است که ناهنجاریها را از طریق تقسیمبندی تصادفی ایزوله میکند، بنابراین برای عملکرد خود نیازی به دادههای ناهنجار برچسبگذاریشده ندارد.
پارامتر آلودگی چه کاری انجام میدهد؟
این پارامتر نسبت مورد انتظار ناهنجاریها در دادهها را بیان میکند و آستانهای را تعیین میکند که تصمیم میگیرد کدام نقاط در نهایت به عنوان دادههای پرت علامتگذاری شوند. بدون وجود ناهنجاریهای واقعی کافی در دادهها، این پارامتر بیمعنی میشود.
چرا در نمونههای کوچک با مشکل مواجه میشود؟
با کمتر از حدود ۵۰ مشاهده، مرز بین نقاط عادی و ناهنجار نامشخص است و نرخ مثبت کاذب بالا است. در این صورت، روشهای آماری تشخیص داده پرت یا تحلیل مؤلفههای اصلی (PCA) جایگزینهای ایمنتری هستند.
ناهنجاریها چگونه امتیازدهی میشوند؟
میانگین طول مسیر هر نقطه در سراسر درختان تصادفی — تعداد تقسیمهای لازم برای ایزوله کردن آن — به یک امتیاز ناهنجاری تبدیل میشود. مسیرهای میانگین کوتاه نشاندهنده ناهنجاریهای احتمالی هستند؛ مسیرهای طولانی نشاندهنده نقاط عادی احتمالی.
روشهای مرتبط
منابع
Liu, F.T., Ting, K.M. & Zhou, Z.-H. (2008). Isolation Forest. IEEE ICDM, 413–422.
باز کردن مرجع DOIکپی شد.