Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

رگرسیون خطی، بخش 2

گروه علوم کامپیوتر، دانشگاه فردوسی مشهد

همان‌طور که naive Bayes (که در صفحهٔ دسته‌بندی Naive Bayes بحث شد) نقطهٔ شروع خوبی برای وظیفه‌های دسته‌بندی است، مدل‌های رگرسیون خطی هم نقطهٔ شروع خوبی برای وظیفه‌های رگرسیون هستند. چنین مدل‌هایی محبوب‌اند چون سریع برازش می‌شوند و تفسیرشان روراست است. با ساده‌ترین شکل مدل رگرسیون خطی (یعنی برازش یک خط راست به دادهٔ دوبعدی) آشنا هستید، ولی این مدل‌ها را می‌توان برای مدل‌سازی رفتارهای پیچیده‌تر داده بسط داد.

English · فارسی
Notebook Cell
Notebook Cell

مدل خطی

فرض کنید مدل واقعی y=b+mx+ϵy = b + m x + \epsilon و مدل برآوردشده y^\hat{y} باشد (معادلهٔ 23.2 کتاب زکی Zaki & Meira (2020)):

y^=β0+β1x=β0x0+β1x1 (ESL Notation)=θ0x0+θ1x1  (Ng Notation)=w0x0+w1x1(Zaki Notation)where:x0=1\begin{aligned} \\ \hat{y} &= \beta_0 + \beta_1 x \\ &= \beta_0 x_0+ \beta_1 x_1 \quad \ \textrm{(ESL Notation)}\\ &= \theta_0 x_0+ \theta_1 x_1 \quad \ \ \textrm{(Ng Notation)}\\ &= w_0 x_0+ w_1 x_1 \quad\textrm{(Zaki Notation)}\\ \\ &\textrm{where:}\\ &x_0 = 1 \end{aligned}

اگر داشته باشیم:

x=[x0x1],w=[w0w1]\mathbf{x} = \begin{bmatrix} x_0\\x_1 \end{bmatrix}, \mathbf{w} = \begin{bmatrix} w_0\\w_1 \end{bmatrix}

آن‌گاه y^\hat{y} را می‌توان ضرب داخلی دو بردار دانست:

y^=w0x0+w1x1=wTx\begin{aligned} \hat{y} = w_0 x_0+ w_1 x_1 = \mathbf{w}^T\mathbf{x} \end{aligned}

اگر نمونهٔ iiام با xi\mathbf{x}_i نشان داده شود

xi=[xi,0xi,1],\mathbf{x}_i = \begin{bmatrix} x_{i,0}\\x_{i,1} \end{bmatrix},

آن‌گاه:

y^i=w0xi,0+w1xi,1\begin{aligned} \hat{y}_i = w_0 x_{i,0}+ w_1 x_{i,1} \end{aligned}

مجموع مربع خطا (SSE):

SSE=∑i=1nerrori2=∑i=1n(yi^−yi)2=∑i=1n(w0xi,0+w1xi,1−yi)2=∑i=1n(wTxi−yi)2=∑i=1n(xiTw−yi)2=∣∣Xw−y∣∣22=(Xw−y)T(Xw−y)\begin{aligned} \textrm{SSE} &= \sum_{i=1}^n{error_i}^2 \\ &= \sum_{i=1}^n{(\hat{y_i} - y_i)}^2 \\ &= \sum_{i=1}^n{(w_0 x_{i,0} + w_1 x_{i,1} - y_i)}^2\\ &= \sum_{i=1}^n{(\mathbf{w}^T\mathbf{x}_{i} - y_i)}^2 = \sum_{i=1}^n{(\mathbf{x}_{i}^T\mathbf{w} - y_i)}^2\\ &= ||X\mathbf{w} - \mathbf{y}||_2^2 = (X\mathbf{w} - \mathbf{y})^T(X\mathbf{w} - \mathbf{y}) \end{aligned}

که در آن:

X=[x1Tx2T⋮xnT],y=[y1y2⋮yn]X = \begin{bmatrix} \mathbf{x_1}^T \\ \mathbf{x_2}^T \\ \vdots \\ \mathbf{x_n}^T \end{bmatrix}, \mathbf{y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}

تولید داده

تولید دادهٔ مصنوعی

(100, 1) (100, 2)
[[0.37454012]
 [0.95071431]
 [0.73199394]]
[[1.75778494]
 [2.87152788]
 [2.47316396]]
<Figure size 500x500 with 1 Axes>

معادله‌های نرمال

معادله‌های نرمال جواب بسته‌ای برای یافتن پارامترهای بهینه (ضریب‌ها) می‌دهند که تابع هزینه (معمولاً میانگین مربع خطا) را در رگرسیون خطی کمینه می‌کنند.

  • معادله‌های نرمال از صفر گذاشتن مشتق‌های جزئی تابع هزینه نسبت به هر ضریب به دست می‌آیند.

  • جواب بسته یعنی یافتن پارامترهای بهینه مستقیماً با یک فرمول ریاضی، به‌جای یک فرایند بهینه‌سازی تکراری.

باید ∣∣Xw−y∣∣22||X\mathbf{w} - \mathbf{y}||_2^2 را نسبت به w\mathbf{w} کمینه کنیم که برابر با شکل مشهور minx∣∣Ax−b∣∣22min_{x}||Ax - b||_2^2 است. موقتاً به‌جای w\mathbf{w} از β\beta استفاده می‌کنیم و ضخیم‌بودن حروف را نادیده می‌گیریم؛ پس باید ∣∣Xβ−y∣∣22||X\beta-y||_2^2 را کمینه کنیم

SSE=∣∣Xβ−y∣∣22=(Xβ−y)T(Xβ−y)=((Xβ)T−yT)(Xβ−y)=(βTXT−yT)(Xβ−y)=βTXTXβ−βTXTy−yTXβ+yTy=βTMβ−(Xβ)Ty−yTXβ+yTy(M=XTX)=βTMβ−2yTXβ+yTy(ATB=BTA)=βTMβ−2zTβ+yTy(zT=yTX,z=XTy)\begin{aligned} SSE&=||X\beta-y||_2^2 = (X\beta-y)^T(X\beta-y)\\ &=((X\beta)^T-y^T)(X\beta-y) =(\beta^TX^T-y^T)(X\beta-y) \\ &=\beta^TX^T X\beta - \beta^T X^Ty -y^TX\beta + y^Ty\\ &=\beta^T M\beta - (X\beta)^Ty -y^TX\beta + y^Ty \qquad {(M=X^T X)}\\ &=\beta^T M\beta - 2y^TX\beta + y^Ty \qquad\qquad{(A^TB=B^TA)}\\ &=\beta^T M\beta - 2z^T\beta + y^Ty \qquad\qquad{(z^T=y^TX, z=X^Ty)} \end{aligned}

می‌دانیم که (حساب ماتریسی را در ویکی‌پدیا ببینید):

∂yTx∂x=∂xTy∂x=y\frac{\partial y^Tx}{\partial x}=\frac{\partial x^Ty}{\partial x}=y
∂Mx∂x=M\frac{\partial Mx}{\partial x}=M

و اگر MM ماتریسی متقارن باشد:

∂xTMx∂x=2Mx\frac{\partial x^TMx}{\partial x}=2Mx

پس:

∂SSE∂β=∂(βTMβ−2zTβ+yTy)∂β=2Mβ−2z=2XTXβ−2XTy\begin{aligned} \frac{\partial SSE}{\partial \beta} &= \frac{\partial (\beta^T M\beta - 2z^T\beta + y^Ty)}{\partial \beta} \\ &= 2M\beta-2z = 2X^TX\beta-2X^T y \end{aligned}

مشتق را صفر بگذارید:

∂SSE∂β=0⇒2XTXβ−2XTy=0⇒XTXβ=XTy⇒β=(XTX)−1XTy\begin{aligned} &\frac{\partial SSE}{\partial \beta}=0 \\ \Rightarrow & 2 X^TX\beta - 2X^T y = 0\\ \Rightarrow & X^TX\beta = X^Ty \\ \Rightarrow & \beta = (X^TX)^{-1}X^Ty \\ \end{aligned}

و با نشانه‌گذاری پیشین ما: w=(XTX)−1XTy\mathbf{w} = (X^TX)^{-1}X^T\mathbf{y}

array([[1.02150962], [1.95402268]])

استفاده از Scikit-learn

[1.02150962] [[1.95402268]]

اگر ماتریس دادهٔ افزوده X∈Rn×(d+1)X \in \mathbb{R}^{n\times (d+1)} داشته باشیم، باید fit_intercept=False بگذاریم. در معادلهٔ (23.20) کتاب زکی این ماتریس با D~\tilde{D} نشان داده می‌شود.

[[1.02150962 1.95402268]]

رگرسیون دوجمله‌ای

در رگرسیون دوجمله‌ای دو متغیر داریم: یکی متغیر پیش‌بین (که ویژگی هم نامیده می‌شود) و دیگری متغیر پاسخ (که هدف هم نامیده می‌شود).

  1. متغیر پیش‌بین (ویژگی):

    • متغیر پیش‌بین (که اغلب با x نشان داده می‌شود) متغیر ورودی است که با آن تغییرات متغیر پاسخ را پیش‌بینی یا توضیح می‌دهیم.

    • در یادگیری ماشین این معادل یک ویژگی است. ویژگی‌ها مشخصه‌ها یا صفات نقطه‌های داده را نشان می‌دهند.

    • مثلاً در مدل پیش‌بینی قیمت مسکن، ویژگی‌ها می‌توانند متراژ، تعداد اتاق خواب، موقعیت و … باشند.

  2. متغیر پاسخ (هدف):

    • متغیر پاسخ (که اغلب با y نشان داده می‌شود) متغیر خروجی است که می‌کوشیم بر پایهٔ متغیر پیش‌بین پیش‌بینی یا بفهمیم.

    • در یادگیری ماشین این معادل هدف است. هدف مقداری را نشان می‌دهد که می‌خواهیم پیش‌بینی کنیم.

    • برای مدل پیش‌بینی قیمت مسکن، هدف قیمت واقعی فروش خانه خواهد بود.

پس به کوتاهی، رگرسیون دوجمله‌ای تحلیل رابطهٔ دو متغیر است: یکی (ویژگی) برای پیش‌بینی یا توضیح رفتار دیگری (هدف) به کار می‌رود. این اصطلاح‌ها هم در آمار و هم در یادگیری ماشین رایج‌اند.

برای اطلاعات بیشتر دربارهٔ رگرسیون چندمتغیرهٔ چندگانه، این نوشتهٔ فرادرس را ببینید.

گرادیان کاهشی


در این بخش مفاهیم پایه‌ای زیربنای گرادیان کاهشی را معرفی می‌کنیم. بخشی از مطالب از D2L گرفته شده است.

گرادیان کاهشی یک‌بعدی

گرادیان کاهشی در یک بعد مثال خوبی است برای توضیح اینکه چرا الگوریتم گرادیان کاهشی می‌تواند مقدار تابع هدف را کم کند. تابعی حقیقی و پیوسته‌مشتق مانند f:R→Rf: \mathbb{R} \rightarrow \mathbb{R} را در نظر بگیرید. با بسط تیلور به دست می‌آوریم

f(x+h)=f(x)+hf′(x)+O(h2).f(x + h) = f(x) + h f'(x) + \mathcal{O}(h^2).

یعنی در تقریب مرتبهٔ اول، f(x+h)f(x+h) از مقدار تابع f(x)f(x) و مشتق اول f′(x)f'(x) در xx به دست می‌آید. بی‌منطق نیست اگر فرض کنیم برای hh کوچک، حرکت در جهت گرادیان منفی ff را کم می‌کند. برای سادگی اندازهٔ گام ثابت η>0\eta > 0 برمی‌گزینیم و h=−ηf′(x)h = -\eta f'(x) می‌گذاریم. با جای‌گذاری در بسط تیلور بالا می‌رسیم به

f(x−ηf′(x))=f(x)−ηf′2(x)+O(η2f′2(x)).f(x - \eta f'(x)) = f(x) - \eta f'^2(x) + \mathcal{O}(\eta^2 f'^2(x)).

اگر مشتق f′(x)≠0f'(x) \neq 0 صفر نباشد پیشرفت می‌کنیم، چون ηf′2(x)>0\eta f'^2(x)>0. در کنار این، همیشه می‌توان η\eta را چنان کوچک گرفت که جمله‌های مرتبهٔ بالاتر بی‌اهمیت شوند. پس به این می‌رسیم

f(x−ηf′(x))⪅f(x).f(x - \eta f'(x)) \lessapprox f(x).

یعنی اگر از

x←x−ηf′(x)x \leftarrow x - \eta f'(x)

برای تکرار xx استفاده کنیم، مقدار تابع f(x)f(x) ممکن است کم شود. بنابراین در گرادیان کاهشی نخست یک مقدار اولیهٔ xx و یک ثابت η>0\eta > 0 برمی‌گزینیم و بعد با آن‌ها xx را پیوسته تکرار می‌کنیم تا شرط توقف برقرار شود، مثلاً وقتی اندازهٔ گرادیان ∣f′(x)∣|f'(x)| به‌قدر کافی کوچک شود یا تعداد تکرارها به مقدار مشخصی برسد.

گرادیان کاهشی روی f(x)=x2f(x)=x^2

برای سادگی تابع هدف f(x)=x2f(x)=x^2 را برمی‌گزینیم تا نشان دهیم گرادیان کاهشی چگونه پیاده می‌شود. هرچند می‌دانیم x=0x=0 جواب کمینه‌سازی f(x)f(x) است، هنوز از این تابع ساده استفاده می‌کنیم تا ببینیم xx چگونه تغییر می‌کند.

x = 9.00, f'(x) = 18.00, -lr*f'(x)=-1.80
x = 7.20, f'(x) = 14.40, -lr*f'(x)=-1.44
x = 5.76, f'(x) = 11.52, -lr*f'(x)=-1.15
x = 4.61, f'(x) =  9.22, -lr*f'(x)=-0.92
x = 3.69, f'(x) =  7.37, -lr*f'(x)=-0.74
x = 2.95, f'(x) =  5.90, -lr*f'(x)=-0.59
x = 2.36, f'(x) =  4.72, -lr*f'(x)=-0.47
x = 1.89, f'(x) =  3.77, -lr*f'(x)=-0.38
x = 1.51, f'(x) =  3.02, -lr*f'(x)=-0.30
x = 1.21, f'(x) =  2.42, -lr*f'(x)=-0.24
x = 0.97, f'(x) =  1.93, -lr*f'(x)=-0.19
x = 0.77, f'(x) =  1.55, -lr*f'(x)=-0.15
x = 0.62, f'(x) =  1.24, -lr*f'(x)=-0.12
x = 0.49, f'(x) =  0.99, -lr*f'(x)=-0.10
x = 0.40, f'(x) =  0.79, -lr*f'(x)=-0.08
<Figure size 800x500 with 1 Axes>

و تابع دیگری f(x)=3sin⁡(x)+(0.1x−3)2f(x)=3\sin(x)+(0.1x-3)^2 را ببینید که در درس ADS با PSO حل شده است.

<Figure size 800x600 with 1 Axes>

استفاده از گرادیان کاهشی برای رگرسیون در یادگیری ماشین

اینجا از دادهٔ آموزش برای برآورد پارامترهای مدل استفاده می‌کنیم و خطا را روی دادهٔ آزمون گزارش می‌دهیم

تقسیم آموزش–آزمون

((80, 2), (80, 1))
(<Figure size 1200x600 with 2 Axes>, array([<Axes: title={'center': 'Generated Data - Train'}, xlabel='x', ylabel='y'>, <Axes: title={'center': 'Generated Data - Test'}, xlabel='x', ylabel='y'>], dtype=object))
<Figure size 1200x600 with 2 Axes>

گام 0: مقدار اولیهٔ تصادفی

[[ 0.49671415]
 [-0.1382643 ]]

گام 1: محاسبهٔ پیش‌بینی‌های مدل

array([0.39881299, 0.41404593, 0.36925186])
array([[0.39881299], [0.41404593], [0.36925186]])
(<Figure size 600x600 with 1 Axes>, <Axes: xlabel='x', ylabel='y'>)
<Figure size 600x600 with 1 Axes>

گام 2: محاسبهٔ هزینه

$$

\begin{aligned} error_i &= \hat{y_i} - y_i\ where:\ y &= true_w_0 + true_w_1 x_1 + \epsilon\ &\hat{y}= w_0 x_0+ w_1 x_1 \end{aligned} $$

[2.36596945] [0.39881299]
(<Figure size 600x600 with 1 Axes>, <Axes: xlabel='x', ylabel='y'>)
<Figure size 600x600 with 1 Axes>

$$

\begin{aligned} MSE &= \frac{1}{n} \sum_{i=1}^n{error_i}^2 \ &= \frac{1}{n} \sum_{i=1}^n{(\hat{y_i} - y_i)}^2 \ &= \frac{1}{n} \sum_{i=1}^n{(w_0 x_{i,0} + w_1 x_{i,1} - y_i)}^2 \end{aligned} $$

(80, 1)
2.6401126993616817

سطح هزینه

(<Figure size 1200x600 with 2 Axes>, (<Axes3D: title={'center': 'Loss Surface'}, xlabel='b', ylabel='w'>, <Axes: title={'center': 'Loss Surface'}, xlabel='b', ylabel='w'>))
<Figure size 1200x600 with 2 Axes>

گام 3: محاسبهٔ گرادیان‌ها

∂MSE∂wj=∂∂wj1n(∑i=1nerrori2)=1n∑i=1n∂errori2∂wj=1n∑i=1n∂(yi^−yi)2∂wj=1n∑i=1n2∂(yi^−yi)∂wj(yi^−yi)=1n∑i=1n2∂(yi^−yi)∂yi^⋅∂yi^∂wj(yi^−yi)=21n∑i=1nxi,j(yi^−yi)=21n∑i=1nxi,jerrori\begin{aligned} \frac{\partial{MSE}}{\partial{w_j}} &= \frac{\partial{}}{\partial{w_j}}\frac{1}{n} \big(\sum_{i=1}^n{error_i}^2\big) =\frac{1}{n} \sum_{i=1}^n{\frac{\partial{error_i^2}}{\partial{w_j}}} \\ &= \frac{1}{n} \sum_{i=1}^n{\frac{\partial{{(\hat{y_i} - y_i)}^2}}{\partial{w_j}}} \\ &= \frac{1}{n} \sum_{i=1}^n{2\frac{\partial{(\hat{y_i} - y_i)}}{\partial{w_j}} (\hat{y_i} - y_i)}\\ &= \frac{1}{n} \sum_{i=1}^n{2\frac{\partial{(\hat{y_i} - y_i)}}{\partial{\hat{y_i}}} \cdot \frac{\partial{\hat{y_i}}}{\partial{w_j}} (\hat{y_i} - y_i)} \\ &= 2 \frac{1}{n} \sum_{i=1}^n{x_{i,j} (\hat{y_i} - y_i)}= 2 \frac{1}{n} \sum_{i=1}^n{x_{i,j} error_i} \end{aligned}
-3.0224384959608583 -1.7706733515907813
(80, 2)

شکل برداری

(2,) [-3.0224385  -1.77067335]
(2, 1) [[-3.0224385 ]
 [-1.77067335]]

پس‌انتشار

گام 4: به‌روزرسانی پارامترها

$$

\begin{aligned} & b = b - \eta \frac{\partial{MSE}}{\partial{b}} \ & w = w - \eta \frac{\partial{MSE}}{\partial{w}} \end{aligned} $$

(2, 1) (2, 1)
[0.49671415] [-0.1382643]
[[0.798958  ]
 [0.03880303]]
[0.798958]
(<Figure size 600x600 with 1 Axes>, <Axes: xlabel='x', ylabel='y'>)
<Figure size 600x600 with 1 Axes>

گام 5: تکرار همین به‌روزرسانی!

array([[1.11648206], [1.75056848]])
(<Figure size 600x600 with 1 Axes>, <Axes: xlabel='x', ylabel='y'>)
<Figure size 600x600 with 1 Axes>
<Figure size 640x480 with 1 Axes>

استفاده از خودمشتق‌گیری PyTorch

  • PyTorch ابزاری پایتونی برای محاسبات علمی است که چند ویژگی اصلی دارد:

    • torch.Tensor، آرایه‌ای n-بعدی شبیه numpy که می‌تواند روی GPU اجرا شود

    • گراف‌های محاسباتی برای ساختن شبکه‌های عصبی

    • مشتق‌گیری خودکار برای آموزش شبکه‌های عصبی (در درس بعد بیشتر)

  • PyTorch را می‌توانید از https://pytorch.org/ نصب کنید

پس‌رو

مشتق‌گیری با تابع backward

https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

tensor([[1.1165], [1.7506]], dtype=torch.float64, requires_grad=True)

https://pytorch.org/tutorials/beginner/pytorch_with_examples.html

  • PyTorch: تعریف توابع autograd تازه

  • PyTorch: ماژول nn

  • PyTorch: optim

  • PyTorch: ماژول‌های nn سفارشی

استفاده از کتابخانهٔ PyTorch

Linear(in_features=2, out_features=1, bias=False)
None
Parameter containing:
tensor([[1.0971, 1.7887]], requires_grad=True)
tensor([1.0971, 1.7887], grad_fn=<SelectBackward0>)
tensor(1.0971, grad_fn=<SelectBackward0>)
1.0971075296401978
1.0971075
(<Figure size 600x600 with 1 Axes>, <Axes: xlabel='x', ylabel='y'>)
<Figure size 600x600 with 1 Axes>
References
  1. Zaki, M. J., & Meira, W. (2020). Data Mining and Machine Learning: Fundamental Concepts and Algorithms (2nd ed.). Cambridge University Press. https://www.cambridge.org/9781108497367