Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

رگرسیون خطی، بخش 1

English · فارسی
English · فارسی

در این فصل با مروری سریع بر ریاضیات پشت این مسئلهٔ شناخته‌شده شروع می‌کنیم و بعد می‌بینیم مدل‌های خطی چگونه می‌توانند به الگوهای پیچیده‌تر در داده تعمیم یابند.

با واردکردن‌های استاندارد شروع می‌کنیم:

Source

رگرسیون خطی ساده

با آشناترین رگرسیون خطی شروع می‌کنیم: برازش یک خط راست به داده. برازش خط راست مدلی به این شکل است:

y=ax+by = ax + b

که aa را معمولاً شیب و bb را عرض از مبدأ می‌نامند.

دادهٔ زیر را در نظر بگیرید که حول خطی با شیب 2 و عرض از مبدأ −5 پراکنده شده است (شکل زیر):

<Figure size 1200x800 with 1 Axes>

می‌توانیم از برآوردگر LinearRegression در Scikit-Learn برای برازش این داده و ساختن خط بهترین برازش استفاده کنیم، همان‌طور که در شکل زیر آمده است:

Source
<Figure size 1200x800 with 1 Axes>

شیب و عرض از مبدأ در پارامترهای برازش مدل قرار دارند که در Scikit-Learn همیشه با زیرخط پایانی نشانه‌گذاری می‌شوند. اینجا پارامترهای مربوطه coef_ و intercept_ هستند:

Source
Model slope:     2.0272088103606944
Model intercept: -4.9985770855532

می‌بینیم که نتیجه‌ها بسیار نزدیک به مقدارهایی است که داده با آن‌ها تولید شده — همان‌طور که انتظار داریم.

البته برآوردگر LinearRegression خیلی تواناتر از این است — در کنار برازش سادهٔ خط راست، مدل‌های خطی چندبعدی به این شکل را هم پوشش می‌دهد:

y=a0+a1x1+a2x2+⋯y = a_0 + a_1 x_1 + a_2 x_2 + \cdots

که در آن چند مقدار xx داریم. به‌طور هندسی، این مانند برازش یک صفحه به نقطه‌های سه‌بعدی، یا برازش یک ابرصفحه به نقطه‌های با ابعاد بالاتر است.

چندبعدی بودن چنین رگرسیون‌هایی تجسمشان را مشکل‌تر می‌کند، ولی می‌توانیم یکی از این برازش‌ها را با ساختن دادهٔ نمونه و استفاده از عملگر ضرب ماتریسی NumPy در عمل ببینیم:

0.5000000000000033
[ 1.5 -2.   1. ]

اینجا دادهٔ yy از ترکیب خطی سه مقدار تصادفی xx ساخته شده و رگرسیون خطی همان ضریب‌هایی را که داده با آن‌ها ساخته شده بازیابی می‌کند.

به این ترتیب می‌توانیم با همان برآوردگر LinearRegression خط، صفحه یا ابرصفحه را به داده برازش دهیم. هنوز به نظر می‌رسد این رویکرد به رابطه‌های کاملاً خطی میان متغیرها محدود است، ولی می‌شود این قید را هم سست کرد.

رگرسیون چندجمله‌ای

یک شگرد برای سازگار کردن رگرسیون خطی با رابطه‌های غیرخطی میان متغیرها این است که داده را بر اساس توابع پایه تبدیل کنیم. یک نسخهٔ این کار را پیش‌تر در خط لولهٔ PolynomialRegression در صفحه‌های ابرپارامترها و اعتبارسنجی مدل و مهندسی ویژگی دیده‌ایم. ایده این است که مدل خطی چندبعدی خود

y=a0+a1x1+a2x2+a3x3+⋯y = a_0 + a_1 x_1 + a_2 x_2 + a_3 x_3 + \cdots

را بگیریم و x1,x2,x3,x_1, x_2, x_3, و … را از ورودی یک‌بعدی xx بسازیم. یعنی xn=fn(x)x_n = f_n(x) بگذاریم که fn()f_n() تابعی تبدیلساز روی داده است.

مثلاً اگر fn(x)=xnf_n(x) = x^n، مدل ما رگرسیون چندجمله‌ای می‌شود:

y=a0+a1x+a2x2+a3x3+⋯y = a_0 + a_1 x + a_2 x^2 + a_3 x^3 + \cdots

توجه کنید این هنوز یک مدل خطی است — خطی‌بودن به این معناست که ضریب‌های ana_n هرگز در هم ضرب یا بر هم تقسیم نمی‌شوند. کاری که عملاً کردیم این است که مقدارهای یک‌بعدی xx را به بُعد بالاتر تصویر کردیم تا یک برازش خطی بتواند رابطه‌های پیچیده‌تر میان xx و yy را برازش دهد.

توابع پایهٔ چندجمله‌ای

این تصویر چندجمله‌ای به‌قدری سودمند است که در Scikit-Learn با تبدیل‌گر PolynomialFeatures ساخته شده است:

array([[ 2., 4., 8.], [ 3., 9., 27.], [ 4., 16., 64.]])

اینجا می‌بینیم تبدیل‌گر آرایهٔ یک‌بعدی ما را به آرایه‌ای سه‌بعدی تبدیل کرده که هر ستونش مقدار به‌توان‌رسیده را دارد. این نمایش تازه و پرابعادِ داده را می‌توان به رگرسیون خطی داد.

همان‌طور که در مهندسی ویژگی دیدیم، پاکیزه‌ترین راه انجام این کار استفاده از خط لوله است. بیایید این‌گونه مدلی چندجمله‌ای با درجهٔ 7 بسازیم:

با این تبدیل، می‌توانیم از مدل خطی برای برازش رابطه‌های بسیار پیچیده‌تر میان xx و yy استفاده کنیم. مثلاً اینجا یک موج سینوسی با نوفه است (شکل زیر):

<Figure size 1200x800 with 1 Axes>

مدل خطی ما، با استفاده از توابع پایهٔ چندجمله‌ای مرتبهٔ هفت، برازش بسیار خوبی به این دادهٔ غیرخطی می‌دهد!

تنظیم‌کننده

وارد کردن توابع پایه به رگرسیون خطی مدل را بسیار انعطاف‌پذیر می‌کند، ولی می‌تواند خیلی سریع به بیش‌برازش بینجامد (برای بحث این موضوع به صفحهٔ ابرپارامترها و اعتبارسنجی مدل نگاه کنید).

مدل‌های بسیار انعطاف‌پذیر می‌توانند دادهٔ آموزش را با ترکیب اجزای زیادی با ضریب‌های بزرگ و مخالف هم برازش کنند و برازش‌های ناپایداری بسازند که ممکن است بد تعمیم یابند. این نمود رایج بیش‌برازش است. درمان طبیعی این است که مدل را با جریمه کردن مقدارهای بزرگ پارامتر صریحاً مقید کنیم، تا تابع برازش‌شده تشویق نشود به چنین حذف‌های ناپایدار تکیه کند. چنین جریمه‌ای تنظیم‌کننده نامیده می‌شود و چند شکل دارد.

رگرسیون ریج (تنظیم‌کنندهٔ L2L_2)

شاید رایج‌ترین شکل تنظیم‌کننده رگرسیون ریج یا تنظیم‌کنندهٔ L2L_2 باشد (که گاهی تنظیم‌کنندهٔ تیخونوف هم نامیده می‌شود). این روش مجموع مربع‌ها (نُرم‌های 2) ضریب‌های مدل θn\theta_n را جریمه می‌کند. در این حالت جریمهٔ برازش مدل چنین است:

P=α∑n=1Nθn2P = \alpha\sum_{n=1}^N \theta_n^2

که α\alpha پارامتری آزاد است که قدرت جریمه را کنترل می‌کند. این نوع مدل جریمه‌شده در Scikit-Learn با برآوردگر Ridge ساخته شده است (شکل زیر):

پارامتر α\alpha اساساً پیچی است که پیچیدگی مدل حاصل را کنترل می‌کند. در حد α→0\alpha \to 0 نتیجهٔ رگرسیون خطی استاندارد را بازیابی می‌کنیم؛ در حد α→∞\alpha \to \infty همهٔ پاسخ‌های مدل سرکوب می‌شوند. یک مزیت ویژهٔ رگرسیون ریج این است که می‌توان آن را بسیار کارا حساب کرد — تقریباً بدون هزینهٔ محاسباتی بیشتر از مدل رگرسیون خطی اصلی.

تولید دادهٔ مصنوعی

بیایید دادهٔ مصنوعی بسازیم که الگویی غیرخطی با کمی نوفه را دنبال می‌کند:

Source
<Figure size 1000x600 with 1 Axes>

فهم بیش‌برازش

بیایید توابعی برای برازش هم رگرسیون خطی استاندارد و هم رگرسیون ریج با ویژگی‌های چندجمله‌ای بنویسیم:

Source

مقایسهٔ رگرسیون خطی با درجه‌های مختلف چندجمله‌ای

بیایید تجسم کنیم رگرسیون خطی استاندارد با افزایش درجهٔ چندجمله‌ای چگونه رفتار می‌کند:

Source
Number of columns in DataFrame: 17
<Figure size 1200x500 with 3 Axes>

تحلیل پیچیدگی مدل و بیش‌برازش

در این مثال بررسی می‌کنیم افزایش پیچیدگی مدل رگرسیون چندجمله‌ای چگونه کارکرد آن را روی دادهٔ آموزش و آزمون تحت تأثیر می‌گذارد. این کارها را انجام می‌دهیم:

  1. دادهٔ مصنوعی را به مجموعهٔ آموزش (50٪) و آزمون (50٪) تقسیم می‌کنیم

  2. مدل‌های رگرسیون چندجمله‌ای با درجه‌های 1 تا 15 را برازش می‌دهیم

  3. پیش‌بینی مدل را برای درجه‌های 1، 3، 6، 12 و 15 تجسم می‌کنیم

  4. خطای آموزش و آزمون (RSS) را در برابر پیچیدگی مدل رسم می‌کنیم

مشاهدات کلیدی که باید ببینید:

  • هر مدل چقدر خوب به دادهٔ آموزش برازش می‌شود؟

  • آیا افزایش درجهٔ چندجمله‌ای همیشه به پیش‌بینی بهتر می‌انجامد؟

  • می‌توانید جایی را که بیش‌برازش آغاز می‌شود شناسایی کنید؟

  • توجه کنید خطای آموزش به‌طور پیوسته کم می‌شود در حالی که خطای آزمون ممکن است شروع به افزایش کند

Source
<Figure size 1500x1000 with 6 Axes>

رگرسیون ریج یک جملهٔ جریمه به تابع هزینه می‌افزاید، یعنی مجموع مربع ضریب‌ها ضرب در پارامتر تنظیم‌کنندهٔ آلفا. این کار با کوچک نگه داشتن ضریب‌ها از بیش‌برازش جلوگیری می‌کند.

تابع هزینهٔ رگرسیون ریج چنین است:

J(θ)=MSE+α∑i=1nθi2J(\theta) = MSE + \alpha \sum_{i=1}^{n} \theta_i^2

که در آن:

  • MSE میانگین مربع خطاست

  • α (آلفا) پارامتر تنظیم‌کننده است

  • θᵢ ضریب‌های مدل‌اند (به‌جز عرض از مبدأ)

بیایید رگرسیون ریج را با مقدارهای مختلف آلفا برای یک چندجمله‌ای با درجهٔ بالا مقایسه کنیم:

Source
c:\programs\anaconda3\envs\pth\lib\site-packages\sklearn\linear_model\_ridge.py:216: LinAlgWarning: Ill-conditioned matrix (rcond=1.187e-18): result may not be accurate.
  return linalg.solve(A, Xy, assume_a="pos", overwrite_a=True).T
<Figure size 1500x1000 with 3 Axes>

تجسم اثر آلفا بر ضریب‌ها

ببینیم ضریب‌ها با مقدارهای مختلف آلفا چگونه تغییر می‌کنند:

Source
<Figure size 1200x600 with 1 Axes>

رگرسیون لاسو (تنظیم‌کنندهٔ L1L_1)

نوع رایج دیگری از تنظیم‌کننده رگرسیون لاسو یا تنظیم‌کنندهٔ L1L_1 است که مجموع قدر مطلق‌ها (نُرم‌های 1) ضریب‌های رگرسیون را جریمه می‌کند:

P=α∑n=1N∣θn∣P = \alpha\sum_{n=1}^N |\theta_n|

هرچند این مفهوم بسیار شبیه رگرسیون ریج است، نتیجه‌ها می‌توانند به‌طور غافلگیرکننده‌ای متفاوت باشند. مثلاً لاسو به‌دلیل ساختارش گرایش دارد در جایی که ممکن است مدل‌های تُنُک را ترجیح دهد: یعنی ترجیحاً بسیاری از ضریب‌های مدل را دقیقاً صفر می‌کند.

با جریمهٔ رگرسیون لاسو، بیشتر ضریب‌ها دقیقاً صفر می‌شوند و رفتار تابعی با زیرمجموعهٔ کوچکی از توابع پایهٔ موجود مدل می‌شود. مانند تنظیم‌کنندهٔ ریج، پارامتر α\alpha قدرت جریمه را تنظیم می‌کند و باید مثلاً با اعتبارسنجی متقاطع تعیین شود (برای بحث این موضوع به صفحهٔ ابرپارامترها و اعتبارسنجی مدل نگاه کنید).

برای اطلاعات بیشتر دربارهٔ مطالب مرتبط Mathematics for Machine Learning را ببینید

مثال: پیش‌بینی ترافیک دوچرخه

به‌عنوان مثال ببینیم می‌توانیم تعداد سفرهای دوچرخه روی پل فریمونت سیاتل را بر پایهٔ آب‌وهوا، فصل و عوامل دیگر پیش‌بینی کنیم یا نه. این داده را پیش‌تر در کار با سری‌های زمانی دیده‌ایم، ولی اینجا دادهٔ دوچرخه را با مجموعه‌دادهٔ دیگری می‌پیوندیم و می‌کوشیم تعیین کنیم عوامل آب‌وهوا و فصلی — دما، بارش و ساعت‌های روشنایی — تا چه حد بر حجم ترافیک دوچرخه در این مسیر اثر می‌گذارند.

خوشبختانه ادارهٔ ملی اقیانوس و جو (NOAA) دادهٔ روزانهٔ ایستگاه هواشناسی را در دسترس می‌گذارد — من شناسهٔ ایستگاه USW00024233 را به کار بردم — و می‌توانیم به‌آسانی با Pandas دو منبع داده را بپیوندیم. یک رگرسیون خطی ساده انجام می‌دهیم تا آب‌وهوا و اطلاعات دیگر را با شمار دوچرخه‌ها مرتبط کنیم و برآورد کنیم تغییر هر یک از این پارامترها چگونه شمار دوچرخه‌سواران در یک روز را تحت تأثیر می‌گذارد.

به‌ویژه، این مثالی است از اینکه ابزارهای Scikit-Learn چگونه در چارچوب مدل‌سازی آماری به کار می‌روند، چارچوبی که در آن پارامترهای مدل معنای تفسیرپذیر دارند. همان‌طور که پیش‌تر گفتیم، این رویکرد استانداردی در یادگیری ماشین نیست، ولی برای برخی مدل‌ها چنین تفسیری ممکن است.

با بارگذاری دو مجموعه‌داده و نمایه‌گذاری بر پایهٔ تاریخ شروع می‌کنیم:

برای سادگی، داده پس از 2020 را نادیده بگیریم تا از اثرهای دنیاگیری COVID-19 که الگوهای رفت‌وآمد سیاتل را به‌شدت تحت تأثیر گذاشت دور بمانیم:

بعد کل ترافیک روزانهٔ دوچرخه را حساب می‌کنیم و در DataFrame جداگانه‌ای می‌گذاریم:

پیش‌تر دیدیم که الگوهای استفاده عموماً روزبه‌روز فرق می‌کند. بیایید این را با افزودن ستون‌های دودویی که روز هفته را نشان می‌دهند در داده لحاظ کنیم:

به همین ترتیب، شاید انتظار داشته باشیم دوچرخه‌سواران در تعطیلات رفتار متفاوتی داشته باشند؛ بیایید نشانگر این را هم اضافه کنیم:

همچنین شاید گمان کنیم ساعت‌های روشنایی بر شمار دوچرخه‌سواران اثر می‌گذارد. بیایید با محاسبهٔ نجومی استاندارد این اطلاعات را اضافه کنیم (شکل زیر):

(8.0, 17.0)
<Figure size 1200x800 with 1 Axes>

می‌توانیم میانگین دما و مجموع بارش را هم به داده اضافه کنیم. در کنار اینچ بارش، پرچمی هم اضافه کنیم که نشان دهد روز خشک است (بارش صفر):

سرانجام یک شمارنده اضافه کنیم که از روز 1 افزایش می‌یابد و می‌سنجد چند سال گذشته است. این به ما اجازه می‌دهد هر افزایش یا کاهش سالانهٔ مشاهده‌شده در گذرهای روزانه را بسنجیم:

اکنون داده مرتب است و می‌توانیم نگاهی به آن بیندازیم:

Loading...

با این کار می‌توانیم ستون‌های مورد استفاده را انتخاب کنیم و مدل رگرسیون خطی را به داده برازش دهیم. fit_intercept=False می‌گذاریم، چون پرچم‌های روزانه عملاً خودشان به‌عنوان عرض از مبدأ مخصوص هر روز کار می‌کنند:

سرانجام می‌توانیم ترافیک کل و پیش‌بینی‌شدهٔ دوچرخه را به‌طور دیداری مقایسه کنیم (شکل زیر):

<Figure size 1200x800 with 1 Axes>

از اینکه داده و پیش‌بینی‌های مدل دقیقاً بر هم نمی‌افتند پیداست که چند ویژگی کلیدی را از دست داده‌ایم. یا ویژگی‌های ما کامل نیستند (یعنی مردم بر پایهٔ بیش از این ویژگی‌ها تصمیم می‌گیرند دوچرخه سواری کنند) یا رابطه‌های غیرخطی‌ای هست که در نظر نگرفته‌ایم (مثلاً شاید در دمای بالا و پایین مردم کمتر دوچرخه سوار می‌شوند). با این حال تقریب زبر ما برای گرفتن چند بینش کافی است و می‌توانیم ضریب‌های مدل خطی را ببینیم تا برآورد کنیم هر ویژگی چقدر در شمار روزانهٔ دوچرخه سهم دارد:

Mon 504.882756 Tue 610.233936 Wed 592.673642 Thu 482.358115 Fri 177.980345 Sat -1103.301710 Sun -1133.567246 holiday -1187.401381 daylight_hrs 128.851511 PRCP -65.436504 dry day 547.698592 Temp (C) 65.162791 annual 26.942713 dtype: float64

تفسیر این عددها بدون سنجه‌ای از عدم‌قطعیتشان دشوار است. می‌توانیم این عدم‌قطعیت‌ها را به‌سرعت با بازنمونه‌گیری بوت‌استرپ از داده حساب کنیم:

با برآورد این خطاها، بیایید دوباره نتیجه‌ها را ببینیم:

              effect  uncertainty
Mon            505.0         86.0
Tue            610.0         83.0
Wed            593.0         83.0
Thu            482.0         85.0
Fri            178.0         81.0
Sat          -1103.0         80.0
Sun          -1134.0         83.0
holiday      -1187.0        163.0
daylight_hrs   129.0          9.0
PRCP           -65.0          6.0
dry day        548.0         33.0
Temp (C)        65.0          4.0
annual          27.0         18.0

نخست می‌بینیم که در خط پایهٔ هفتگی روند نسبتاً پایداری هست: در روزهای کاری بسیار بیشتر از آخر هفته و تعطیلات دوچرخه‌سوار هست. می‌بینیم برای هر ساعت روشنایی اضافه، 129 ± 9 نفر بیشتر دوچرخه سواری می‌کنند؛ افزایش یک درجهٔ سلسیوس دما 65 ± 4 نفر را به دوچرخه تشویق می‌کند؛ روز خشک به‌طور میانگین 548 ± 33 دوچرخه‌سوار بیشتر یعنی، و هر اینچ بارش 665 ± 62 نفر را دوچرخه‌شان را در خانه می‌گذارد. وقتی همهٔ این اثرها در نظر گرفته شوند، افزایش اندک 27 ± 18 دوچرخه‌سوار روزانه در هر سال می‌بینیم.

مدل ما تقریباً به‌یقین چند اطلاعات مرتبط را از دست داده است. مثلاً اثرهای غیرخطی (مثل اثر بارش و دمای سرد) و روندهای غیرخطی درون هر متغیر (مثل بی‌میلی به سواری در دمای بسیار سرد و بسیار گرم) در این مدل لحاظ نمی‌شوند. در کنار این، بخشی از اطلاعات ریزدانه‌تر را دور انداخته‌ایم (مثل تفاوت صبح بارانی و بعدازظهر بارانی) و همبستگی میان روزها را نادیده گرفته‌ایم (مثل اثر احتمالی سه‌شنبهٔ بارانی بر شمار چهارشنبه، یا اثر یک روز آفتابی غیرمنتظره پس از چند روز بارانی). این‌ها همه اثرهای بالقوه جالبی هستند و اکنون ابزار کاوش آن‌ها را دارید!

پرسپترون

  • نمایندهٔ یک نورون (گره) با ورودی‌های xix_i، بایاس w0w_0 و خروجی yy

  • هر اتصال یک وزن (سیناپسی) wiw_i دارد. گره خروجی y^=∑inxiwi+w0\hat{y} = \sum_{i}^n x_{i}w_i + w_0 می‌دهد

  • تابع فعال‌ساز اگر xw+w0>0\mathbf{xw} + w_0 > 0 باشد 1 و در غیر این صورت -1 پیش‌بینی می‌کند

  • وزن‌ها را می‌توان با گرادیان کاهشی (تصادفی) و هزینهٔ Hinge(0) یاد گرفت

    • فقط روی دسته‌بندی نادرست به‌روز می‌شود و خروجی را با ±1\pm1 اصلاح می‌کند

    LPerceptron=max(0,−yi(wxi+w0))\mathcal{L}_{Perceptron} = max(0,-y_i (\mathbf{w}\mathbf{x_i} + w_0))
    ∂LPerceptron∂wi={−yixiyi(wxi+w0)<00otherwise\frac{\partial \mathcal{L_{Perceptron}}}{\partial w_i} = \begin{cases}-y_i x_i & y_i (\mathbf{w}\mathbf{x_i} + w_0) < 0\\ 0 & \text{otherwise} \\ \end{cases}

رگرسیون لجستیک

  • هدفش پیش‌بینی احتمال تعلق یک نقطه به دستهٔ مثبت است

  • مقدارهای هدف {منفی (آبی)، مثبت (قرمز)} را به {0,1} تبدیل می‌کند

  • تابع لجستیک (یا سیگموید یا منحنی S) را از این نقطه‌ها می‌گذراند

    • بازهٔ (-Inf,Inf) را به احتمال در [0,1] می‌نگارد

    y^=logistic(fθ(x))=11+e−fθ(x)\hat{y} = \textrm{logistic}(f_{\theta}(\mathbf{x})) = \frac{1}{1+e^{-f_{\theta}(\mathbf{x})}}
  • مثلاً در یک بعد: logistic(x1w1+w0)=11+e−x1w1−w0 \textrm{logistic}(x_1w_1+w_0) = \frac{1}{1+e^{-x_1w_1-w_0}}