Skip to content
بازگشت به نتایج جست‌وجو

تحلیل رگرسیون چندگانه

معرفی‌شده توسط
Carl Friedrich Gauss
سال
1801
نوع
Method
خانواده
predictive-modeling

این متن ترجمه ماشینی است و هنوز بازبینی نشده است. متن اصلی را به انگلیسی بخوانید

اندازه قلم

چه کاری انجام می‌دهد؟

تحلیل رگرسیون چندگانه یک روش آماری برای مدل‌سازی رابطه بین یک متغیر وابسته پیوسته و دو یا چند متغیر مستقل (پیش‌بین) است. این روش که ریشه در کارهای اولیه گاوس در قرن نوزدهم دارد و توسط دراپر و اسمیت (۱۹۶۶) صورت‌بندی شده است، معادلات خطی را برای پیش‌بینی نتایج از چندین پیش‌بین تخمین می‌زند و در عین حال روابط مخدوش‌کننده را در نظر می‌گیرد، که آن را در اپیدمیولوژی، اقتصاد، روانشناسی و تحقیقات بالینی ضروری می‌سازد.

شهود پشت روش

رگرسیون چندگانه، همبستگی ساده دومتغیره را گسترش می‌دهد تا به طور همزمان بررسی کند که چگونه چندین پیش‌بین بر یک نتیجه تأثیر می‌گذارند. به جای مشاهده ارتباطات خام، رگرسیون سهم منحصر به فرد هر پیش‌بین را در حالی که سایرین ثابت نگه داشته می‌شوند (مانند کنترل آزمایشی) ایزوله می‌کند. مدل خطی فرض می‌کند که نتیجه ترکیبی وزن‌دار از پیش‌بین‌ها است: Y = b₀ + b₁X₁ + b₂X₂ + ... + bₚXₚ + ε. ضرایب (b) نشان‌دهنده تغییر در Y به ازای افزایش یک واحد در X، پس از تعدیل برای سایر پیش‌بین‌ها هستند. این امر به محققان امکان می‌دهد تا مشخص کنند کدام پیش‌بین‌ها بیشترین اهمیت را دارند، متغیرهای مخدوش‌کننده را کنترل کنند و برای مشاهدات جدید پیش‌بینی انجام دهند.

تاریخ

کارل فردریش گاوس روش کمترین مربعات را در سال ۱۸۰۱ برای پیش‌بینی نجومی توسعه داد. کارل پیرسون و آماردانان اولیه رگرسیون خطی را برای داده‌های زیستی (فرانسیس گالتون، ۱۸۸۶) به کار بردند. کتاب درسی تحلیل رگرسیون کاربردی نورمن دراپر و هری اسمیت در سال ۱۹۶۶ روش‌شناسی رگرسیون چندگانه را استاندارد کرد. انقلاب محاسباتی دهه‌های ۱۹۸۰-۱۹۹۰ در دسترس بودن گسترده در نرم‌افزار را به ارمغان آورد. گسترش‌های مدرن شامل منظم‌سازی (ریج، لسو، شبکه الاستیک؛ تیبشیرانی، ۱۹۹۶)، روش‌های مقاوم و چارچوب‌های استنتاج علّی (امتیازات تمایل، متغیرهای ابزاری) است.

چه زمانی استفاده شود

هنگامی که یک نتیجه پیوسته و چندین پیش‌بین دارید، از رگرسیون چندگانه استفاده کنید تا ارتباطات آن‌ها را ضمن تعدیل برای عوامل مخدوش‌کننده درک کنید. کاربردهای رایج: پیش‌بینی نتایج بیماران از متغیرهای بالینی، درک عوامل محرک شاخص‌های اقتصادی، تخمین اثر درمان ضمن کنترل جمعیت‌شناسی، مدل‌سازی دستاوردهای تحصیلی از ویژگی‌های دانش‌آموزان. رگرسیون همچنین زمانی ایده‌آل است که حجم نمونه، تصادفی‌سازی آزمایشی را غیرممکن می‌سازد (مطالعات مشاهده‌ای). برای نتایج طبقه‌ای، از رگرسیون لجستیک یا چندجمله‌ای استفاده کنید. برای داده‌های خوشه‌ای (دانش‌آموزان در مدارس)، از رگرسیون چندسطحی استفاده کنید. برای داده‌های گمشده، قبل از آن، از درون‌یابی چندگانه استفاده کنید.

محدودیت‌ها و ملاحظات

  • روابط خطی را فرض می‌کند؛ اثرات منحنی یا آستانه‌ای را مگر اینکه به صراحت از طریق تبدیل یا جملات چندجمله‌ای مدل‌سازی شوند، از دست می‌دهد.
  • به هم‌خطی چندگانه حساس است: پیش‌بین‌های همبسته بالا، ضرایب ناپایدار و دشوار برای تفسیر تولید می‌کنند. VIF > ۱۰ مشکل‌ساز است؛ راه‌حل شامل حذف پیش‌بین‌ها، مولفه‌های اصلی یا رگرسیون ریج است.
  • نقاط پرت و تأثیرگذار می‌توانند به طور نامتناسبی بر تخمین‌ها و برازش تأثیر بگذارند؛ روش‌های رگرسیون مقاوم (هوبر، M-estimatorها) این مشکل را برطرف می‌کنند.
  • واریانس ثابت (هم‌واریانس) را فرض می‌کند؛ داده‌های ناهم‌واریانس نیازمند کمترین مربعات وزنی یا تعدیلات خطای استاندارد مقاوم هستند.
  • معناداری آماری، علّی نیست: نمی‌تواند بین اینکه آیا ارتباط نشان‌دهنده اثر واقعی است یا مخدوش‌کننده اندازه‌گیری نشده، تمایز قائل شود؛ نیازمند توجیه نظری قوی است.

شرایط منبع جایگزین بررسی علمی مستقل یا اعتبارسنجی توسط موتور تحلیل نیست.

نقاط قوت

  • قدرتمند برای جداسازی روابط پیچیده: اثر منحصر به فرد هر پیش‌بین را ضمن کنترل سایرین تخمین می‌زند و کنترل آزمایشی را در داده‌های مشاهده‌ای شبیه‌سازی می‌کند.
  • انعطاف‌پذیر: متغیرهای پیش‌بین پیوسته و طبقه‌ای، تعاملات، جملات چندجمله‌ای را در خود جای می‌دهد و می‌تواند به روابط غیرخطی گسترش یابد.
  • قابل تفسیر: ضرایب مستقیماً تغییر واحدی در نتیجه را نشان می‌دهند و نتایج را برای پزشکان و سیاست‌گذاران قابل اجرا می‌سازند.
  • پیش‌بینی: مدل برازش شده پیش‌بینی‌هایی را برای مشاهدات جدید با فواصل اطمینان تولید می‌کند و کاربردهای عملی (طبقه‌بندی ریسک، پیش‌بینی) را امکان‌پذیر می‌سازد.
  • تشخیص‌های گسترده در دسترس است: باقی‌مانده‌های استاندارد شده، نمودارهای اهرم و معیارهای تأثیر به شناسایی و رفع نقض‌های مدل کمک می‌کنند.

کاربردها

  • پیش‌بینی بالینی: مدل‌سازی خطر بازگشت مجدد بیمار در بیمارستان از جمعیت‌شناسی بیمار، بیماری‌های همراه و عوامل درمانی؛ اطلاع‌رسانی به برنامه‌ریزی ترخیص و مداخلات.
  • مطالعات اپیدمیولوژیک: تخمین ارتباط بیماری با مواجهه‌ها (سیگار کشیدن، رژیم غذایی) ضمن تعدیل برای عوامل مخدوش‌کننده سن، جنسیت، وضعیت اجتماعی-اقتصادی.
  • تحقیقات آموزشی: پیش‌بینی فارغ‌التحصیلی از دبیرستان بر اساس معدل دبیرستان، نمرات آزمون و متغیرهای اجتماعی-اقتصادی؛ شناسایی عواملی که بیشترین اهمیت را دارند.
  • املاک و مستغلات و اقتصاد: پیش‌بینی قیمت املاک بر اساس متراژ، مکان، سن، ویژگی‌های محله؛ تجزیه و تحلیل روندهای بازار مسکن.
  • بهبود کیفیت و تولید: مدل‌سازی نرخ شکست محصول بر اساس پارامترهای فرآیند (دما، فشار، مواد) برای بهینه‌سازی عملیات.

چگونه کار می‌کند

چگونه کار می‌کند

1

رگرسیون چندگانه را با جمع‌آوری داده‌های نتیجه پیوسته و متغیرهای پیش‌بین پیوسته یا طبقه‌ای از نمونه‌ای به اندازه کافی بزرگ برای تخمین تمام پارامترها (معمولاً n > 10p، که p تعداد پیش‌بین‌ها است؛ ایده‌آل n > 50 برای توان کافی) اجرا کنید. تمام متغیرها را با حداقل داده‌های گمشده ثبت کنید (بررسی کنید که داده‌های گمشده تصادفی باشند). متغیر وابسته (نتیجه) و متغیرهای مستقل (پیش‌بین‌ها) خود را قبل از تحلیل تعریف کنید تا از انتخاب مدل مبتنی بر داده جلوگیری شود. پیش‌بین‌های پیوسته را استاندارد کنید (میانگین را کم کنید، بر انحراف معیار تقسیم کنید) اگر ضرایب را در مقیاس‌های مختلف مقایسه می‌کنید؛ این به تفسیر کمک می‌کند و هم‌خطی چندگانه را کاهش می‌دهد. پیش‌بین‌های طبقه‌ای را با استفاده از کدگذاری مجازی (k-1 شاخص برای k دسته) یا کدگذاری تضادی کدگذاری کنید.

2

ضرایب رگرسیون را با استفاده از کمترین مربعات معمولی (OLS) تخمین بزنید: مجموع مربعات باقی‌مانده‌ها (SSE = Σ(y_i − ŷ_i)²) را به حداقل برسانید. نرم‌افزار (R، Python، SPSS، SAS) بردار ضریب b = (X'X)⁻¹X'y را محاسبه می‌کند. گزارش دهید: (۱) عرض از مبدأ (b₀): Y پیش‌بینی شده زمانی که همه X=0 باشند. (۲) ضرایب شیب (b₁، b₂، ...): تغییر در Y به ازای هر واحد X، پس از تعدیل برای سایر پیش‌بین‌ها. (۳) خطاهای استاندارد (SE) و آماره‌های t: t = b/SE آزمون می‌کند که آیا ضریب از صفر متفاوت است یا خیر. (۴) فواصل اطمینان (۹۵% CI): معمولاً b ± ۱.۹۶×SE. (۵) R²: نسبت واریانس Y که توسط پیش‌بین‌ها توضیح داده شده است (۰ تا ۱). (۶) R² تعدیل شده: پیچیدگی مدل را جریمه می‌کند. (۷) فاکتور تورم واریانس (VIF): هم‌خطی چندگانه را تشخیص می‌دهد؛ VIF > ۱۰ نشان‌دهنده همبستگی مشکل‌ساز پیش‌بین است. (۸) آماره دوربین-واتسون: خودهمبستگی باقی‌مانده‌ها را آزمون می‌کند.

3

ضرایب را به این صورت تفسیر کنید: برای افزایش یک واحدی در پیش‌بین Xᵢ، نتیجه به اندازه bᵢ واحد افزایش می‌یابد، در حالی که سایر پیش‌بین‌ها ثابت نگه داشته می‌شوند. اگر p < ۰.۰۵ باشد، نتیجه بگیرید که پیش‌بین از نظر آماری معنی‌دار است. R² و R² تعدیل شده، برازش کلی مدل را خلاصه می‌کنند: برای تخمین محافظه‌کارانه‌تر، R² تعدیل شده را گزارش دهید. فرضیات را با بررسی نمودارهای باقی‌مانده بررسی کنید: (۱) خطی بودن: نمودار پراکندگی مقادیر پیش‌بینی شده در مقابل باقی‌مانده‌ها نباید الگویی نشان دهد. (۲) نرمال بودن: نمودار Q-Q باقی‌مانده‌های استاندارد شده باید خط مورب را دنبال کند. (۳) هم‌واریانس: باقی‌مانده‌ها باید واریانس ثابتی در طول مقادیر برازش شده داشته باشند (آزمون بروش-پاگان). (۴) استقلال: دوربین-واتسون ≈ ۲ نشان‌دهنده عدم خودهمبستگی است. وجود الگوهای نقض فرضیه، نشان‌دهنده عدم مشخص‌سازی صحیح مدل است؛ تبدیل (log Y)، افزودن تعاملات یا جملات چندجمله‌ای را در نظر بگیرید. از نمودارهای تشخیص رگرسیون و معیارهای اهرم/تأثیر (فاصله کوک، DFFITS) برای شناسایی نقاط پرت که به طور نامتناسبی بر تخمین‌ها تأثیر می‌گذارند، استفاده کنید.

دام‌های رایج

  • انتخاب مدل مبتنی بر داده (انتخاب گام به گام، رو به جلو، رو به عقب): از شانس بهره می‌برد، خطای نوع اول را افزایش می‌دهد، ضرایب ناپایدار تولید می‌کند. مشخص‌سازی مدل مبتنی بر نظریه را ترجیح دهید.
  • نادیده گرفتن هم‌خطی چندگانه: بررسی ماتریس همبستگی کافی نیست؛ VIF را برای هر پیش‌بین محاسبه کنید. VIF > ۵-۱۰ نیاز به اقدام دارد.
  • بیش‌برازش: افزودن بیش از حد پیش‌بین‌ها، تعمیم را کاهش داده و R² را افزایش می‌دهد. از R² تعدیل شده یا اعتبارسنجی متقابل برای ارزیابی قدرت پیش‌بینی واقعی استفاده کنید.
  • تفسیر ضرایب رگرسیون به صورت علّی بدون تصادفی‌سازی: مخدوش‌کنندگی، علیت معکوس و سوگیری انتخاب، اعتبار را تهدید می‌کنند.
  • عدم بررسی فرضیات باقی‌مانده: باقی‌مانده‌های غیرنرمال، ناهم‌واریانسی و خودهمبستگی، خطاهای استاندارد را افزایش داده یا تخمین‌ها را مخدوش می‌کنند.
  • استفاده از خطاهای استاندارد تعدیل نشده با داده‌های خوشه‌ای (مانند بیماران در بیمارستان‌ها) منجر به فواصل اطمینان بیش از حد باریک می‌شود؛ نیازمند تخمین‌گرهای چندسطحی یا ساندویچی است.

پرسش‌های متداول

چه زمانی باید پیش‌بین‌ها را استاندارد کنم و این چگونه بر تفسیر تأثیر می‌گذارد؟

پیش‌بین‌های پیوسته را استاندارد کنید (نمره z: میانگین را کم کنید، بر انحراف معیار تقسیم کنید) زمانی که: (۱) پیش‌بین‌ها در مقیاس‌های بسیار متفاوتی قرار دارند و می‌خواهید بزرگی ضرایب را مقایسه کنید، یا (۲) نیاز به کاهش هم‌خطی چندگانه دارید. ضرایب استاندارد شده در واحدهای انحراف معیار هستند: ضریب ۰.۵ به این معنی است که افزایش ۱ انحراف معیار در پیش‌بین، پیش‌بینی کننده افزایش ۰.۵ انحراف معیار در نتیجه است. ضرایب خام (استاندارد نشده) واحدهای اصلی را حفظ می‌کنند و اغلب به تفسیر عملی کمک می‌کنند. همیشه هر دو را گزارش دهید و مشخص کنید کدام را گزارش می‌دهید.

تفاوت بین R² و R² تعدیل شده چیست؟

R² = ۱ - (SSE/SS_total) نسبت واریانس نتیجه را که توسط مدل توضیح داده شده است نشان می‌دهد. این مقدار همیشه با افزودن پیش‌بین‌ها افزایش می‌یابد، حتی اگر اثر واقعی نداشته باشند. R² تعدیل شده = ۱ - [(۱ - R²)(n - ۱)/(n - p - ۱)] پیچیدگی مدل را با درجات آزادی از دست رفته جریمه می‌کند (p تعداد پیش‌بین‌ها، n حجم نمونه است). برای انتخاب مدل و ارزیابی قدرت پیش‌بینی واقعی، از R² تعدیل شده استفاده کنید؛ این مقدار در صورتی کاهش می‌یابد که یک پیش‌بین جدید اطلاعات کمتری نسبت به هزینه خود (یک پارامتر) اضافه کند. هر دو را گزارش دهید.

چگونه یک ضریب غیرمعنی‌دار را در حالی که متغیرهای دیگر در مدل وجود دارند، تفسیر کنم؟

یک ضریب غیرمعنی‌دار (p > ۰.۰۵) نشان می‌دهد که شواهد کافی وجود ندارد که این پیش‌بین با نتیجه مرتبط است، در حالی که سایر متغیرها ثابت نگه داشته شده‌اند. این می‌تواند به این معنی باشد که پیش‌بین هیچ اثری ندارد، توسط پیش‌بین‌های دیگر مخدوش شده است (هم‌خطی چندگانه)، یا حجم نمونه خیلی کوچک است. فاصله اطمینان و VIF را بررسی کنید. اگر فاصله اطمینان وسیع و VIF بالا باشد، احتمالاً هم‌خطی چندگانه وجود دارد. اگر پیش‌بین از نظر نظری مهم است، گزارش آن را با فاصله اطمینان ۹۰% به عنوان تحلیل حساسیت در نظر بگیرید. پیش‌بین‌ها را صرفاً بر اساس مقادیر p حذف نکنید؛ از دانش دامنه استفاده کنید.

اگر باقی‌مانده‌ها نرمال نباشند چه کار کنم؟

عدم نرمال بودن خفیف اغلب به دلیل استحکام رگرسیون با نمونه‌های بزرگ قابل قبول است؛ نرمال بودن باقی‌مانده‌ها با n < ۳۰ حیاتی می‌شود. نمودار Q-Q را به صورت بصری بررسی کرده و آزمون شاپیرو-ویلک را انجام دهید. اگر غیرنرمال باشد، در نظر بگیرید: (۱) تبدیل لگاریتمی یا ریشه مربعی نتیجه، (۲) افزودن پیش‌بین‌های حذف شده یا تعاملات، (۳) برازش رگرسیون مقاوم (هوبر، بیس‌ک‌وایر)، یا (۴) استفاده از فواصل اطمینان بوت استرپ. نقاط پرت شدید باید بررسی شوند؛ اگر به دلیل خطای ورود داده باشند حذف کنید، در غیر این صورت نتایج را با و بدون نقاط پرت گزارش دهید.

روش‌های مرتبط

منابع

  1. Draper, N. R., & Smith, H. (1966). Applied Regression Analysis. John Wiley & Sons.

    باز کردن مرجع انتشار
    کپی شد.
  2. Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (1992). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences (2nd ed.). Lawrence Erlbaum.

    باز کردن مرجع انتشار
    کپی شد.
  3. Marquardt, D. W. (1980). You should standardize the independent variables in your regression models. Discussion of a paper by G. David Knottnerus. Journal of the American Statistical Association, 75(369), 87–91.

    باز کردن مرجع انتشار
    کپی شد.