خودرمزگذار
- معرفیشده توسط
- Hinton, G.E. & Salakhutdinov, R.R.
- سال
- 2006
- نوع
- Neural network (encoder-decoder)
این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید
چه کاری انجام میدهد؟
خودرمزگذار یک شبکه عصبی رمزگذار-رمزگشا است که در سال ۲۰۰۶ توسط هینتون و سالاخوتدینوف محبوبیت یافت و دادهها را به یک کد نهفته کمبعد فشرده کرده و سپس آن را بازسازی میکند و امکان کاهش ابعاد و تشخیص ناهنجاری را فراهم میآورد. با یادگیری بازسازی ورودی خود از طریق یک گلوگاه باریک، نمایشی فشرده از دادهها کشف میکند.
شهود پشت روش
تصور کنید از شما خواسته شود یک سند طولانی را در یک جمله خلاصه کنید و سپس کل سند را فقط از آن جمله بازنویسی کنید. برای انجام این کار به خوبی، باید فقط آنچه را که بیشترین اهمیت را دارد حفظ کنید. خودرمزگذار دقیقاً این نظم را یاد میگیرد: هر مشاهده را از یک گلوگاه باریک فشرده میکند و سعی میکند اصل را از کد فشرده شده بازسازی کند. هر آنچه از فشردهسازی جان سالم به در میبرد، جوهر دادهها است و ورودیهایی که شبکه نمیتواند به خوبی بازسازی کند، به عنوان ناهنجاری برجسته میشوند.
تاریخ
ایده خودرمزگذار برای یادگیری یک کد فشرده با بازسازی ورودی توسط جفری هینتون و روسلان سالاخوتدینوف در مقاله ساینس ۲۰۰۶ آنها برجسته شد، که نشان داد شبکههای عصبی عمیق میتوانند ابعاد دادهها را مؤثرتر از تکنیکهای خطی کلاسیک کاهش دهند. این کار به تثبیت شبکههای عصبی به عنوان ابزاری عملی برای یادگیری نمایش کمک کرد.
چه زمانی استفاده شود
از خودرمزگذار برای کاهش ابعاد غیرخطی یا تشخیص ناهنجاری در دادههای با مقادیر پیوسته استفاده کنید، زمانی که نمونه نسبتاً بزرگی دارید - تقریباً ۲۰۰ مشاهده یا بیشتر. نیازی به دادههای توزیعشده نرمال ندارد، اما به دادههای کافی برای یادگیری فضای نهفته معنیدار نیاز دارد و انتخاب اندازه لایه پنهان حیاتی است. با نمونههای کوچک (کمتر از حدود ۲۰۰) PCA انتخاب امنتری است و کمتر از حدود ۵۰، کاهش ابعاد شبکههای عصبی کاملاً شکست میخورد.
محدودیتها و ملاحظات
- به نمونه نسبتاً بزرگی نیاز دارد - حدود ۲۰۰ مشاهده یا بیشتر - برای یادگیری فضای نهفته معنیدار.
- انتخاب اندازه لایه پنهان (نهفته) حیاتی است و به شدت بر نتایج تأثیر میگذارد.
- در مجموعه دادههای کوچک نمیتواند فضای نهفته را یاد بگیرد و PCA سادهتر ترجیح داده میشود.
- کمتر از حدود ۵۰ مشاهده، کاهش ابعاد مبتنی بر شبکههای عصبی کاملاً شکست میخورد.
شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.
نقاط قوت
- ساختار غیرخطی را که روشهای خطی مانند PCA از دست میدهند، ثبت میکند.
- هم کاهش ابعاد و هم تشخیص ناهنجاری را از همان نمایش آموخته شده ارائه میدهد.
- مفروضات کم: نیازی به دادههای توزیعشده نرمال ندارد.
- کد نهفته نمایشی فشرده و آموخته شده از دادههای پیوسته پیچیده را فراهم میکند.
کاربردها
- کاهش ابعاد غیرخطی دادههای پیوسته با ابعاد بالا.
- تشخیص ناهنجاری با پرچمگذاری مشاهداتی که خطای بازسازی بالایی دارند.
- یادگیری نمایشهای نهفته فشرده به عنوان ویژگی برای وظایف پاییندستی.
- تحلیل اکتشافی دادههای پیچیده که در آن کاهش خطی کافی نیست.
چگونه کار میکند
چگونه کار میکند
رمزگذار، ورودی را از طریق یک یا چند لایه پنهان به یک کد نهفته کمبعد نگاشت میکند. اندازه این لایه پنهان (گلوگاه) انتخاب طراحی حیاتی است: اگر خیلی عریض باشد، شبکه به سادگی ورودی را کپی میکند، اگر خیلی باریک باشد، ساختار معنیدار را از دست میدهد.
فرمول
z = f(Wx + b)
رمزگشا کد نهفته را گرفته و آن را از طریق لایههای پنهان به سمت ابعاد اصلی گسترش میدهد و بازسازی ورودی را تولید میکند. رمزگذار و رمزگشا به عنوان یک شبکه واحد با هم آموزش داده میشوند.
فرمول
\hat{x} = g(W'z + b')آموزش، خطای بازسازی را به حداقل میرساند - تفاوت بین ورودی و نسخه بازسازی شده آن. پس از آموزش، کد نهفته به عنوان نمایشی فشرده برای کاهش ابعاد عمل میکند، در حالی که خطاهای بازسازی بزرگ، مشاهداتی را که با الگوهای آموخته شده مطابقت ندارند، پرچمگذاری میکنند و از تشخیص ناهنجاری پشتیبانی میکنند.
فرمول
\min \; \lVert x - \hat{x} \rVert^2دامهای رایج
- اعمال آن بر روی نمونههای کوچک که PCA هم کافی و هم قابل اعتمادتر خواهد بود.
- تنظیم گلوگاه خیلی عریض، به طوری که شبکه به جای فشردهسازی، ورودی را کپی کند.
- تنظیم گلوگاه خیلی باریک، دور انداختن ساختار معنیدار.
- استفاده از آن بر روی انواع دادههایی که برای آنها مناسب نیست به جای ویژگیهای با مقادیر پیوسته.
پرسشهای متداول
خودرمزگذار چگونه با PCA متفاوت است؟
PCA بهترین پروجکشن خطی دادهها را پیدا میکند، در حالی که خودرمزگذار میتواند نمایشهای غیرخطی را از طریق لایههای پنهان خود یاد بگیرد. برای نمونههای کوچک یا زمانی که یک خلاصه خطی کافی است، PCA سادهتر و قابل اعتمادتر است؛ خودرمزگذارها زمانی که دادهها دارای ساختار غیرخطی هستند و نمونه به اندازه کافی بزرگ است، سودمند هستند.
به چه مقدار داده نیاز دارم؟
تقریباً ۲۰۰ مشاهده یا بیشتر. کمتر از آن، شبکه نمیتواند فضای نهفته معنیداری را یاد بگیرد و PCA انتخاب امنتری است؛ کمتر از حدود ۵۰ مشاهده، کاهش ابعاد شبکههای عصبی کاملاً شکست میخورد.
چگونه با آن ناهنجاریها را تشخیص دهم؟
پس از آموزش، مشاهدات را از شبکه عبور دهید و خطای بازسازی آنها را اندازهگیری کنید. نقاطی که مدل به ضعیفی بازسازی میکند - آنهایی که خطای بالایی دارند - با الگوهای آموخته شده مطابقت ندارند و به عنوان ناهنجاری پرچمگذاری میشوند.
مهمترین تنظیم برای درست انجام دادن چیست؟
اندازه لایه پنهان (گلوگاه). خیلی عریض و شبکه فقط ورودی را بدون یادگیری فشردهسازی مفید کپی میکند؛ خیلی باریک و ساختار معنیدار را دور میاندازد.
روشهای مرتبط
منابع
Hinton, G.E. & Salakhutdinov, R.R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
باز کردن مرجع DOIکپی شد.