Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

رگرسیون کرنلی: از مدل‌سازی خطی به ناخطی

English · فارسی
English · فارسی

1. بنیاد رگرسیون خطی

هدف رگرسیون پیش‌بینی یک خروجی پیوسته yy از ویژگی‌های ورودی x=(x1,x2,...,xd)T\mathbf{x} = (x_1, x_2, ..., x_d)^T با تابعی آموخته‌شده ff است:

y=f(x)+εy = f(\mathbf{x}) + \varepsilon

که ε\varepsilon نوفهٔ تصادفی را نشان می‌دهد.

در رگرسیون خطی فرض می‌کنیم ff خطی است:

f(x)=wTxf(\mathbf{x}) = \mathbf{w}^T \mathbf{x}

(جملهٔ بایاس را می‌توان با افزودن یک ثابت 1 به x\mathbf{x} در w\mathbf{w} گنجاند.)

پارامترهای w\mathbf{w} مجموع مربع خطا را کمینه می‌کنند:

min⁡w∑i=1n(yi−wTxi)2\min_{\mathbf{w}} \sum_{i=1}^n (y_i - \mathbf{w}^T \mathbf{x}_i)^2

2. رگرسیون کرنلی: ایدهٔ اصلی

2.1 چرا کرنل؟

دادهٔ دنیای واقعی اغلب الگوهای ناخطی دارد که مدل‌های خطی نمی‌توانند بگیرند. راه‌حل: نگاشت هر ورودی x\mathbf{x} به فضای ویژگی پرابعاد ϕ(x)\phi(\mathbf{x}) که در آن رابطه خطی می‌شود:

f(x)=wTϕ(x)f(\mathbf{x}) = \mathbf{w}^T \phi(\mathbf{x})

چالش: حساب کردن صریح ϕ(x)\phi(\mathbf{x}) می‌تواند از نظر محاسباتی ناممکن یا حتی بی‌نهایت‌بعد باشد.

ترفند کرنل: از تابع کرنل KK استفاده کنید که ضرب داخلی در فضای ویژگی را حساب می‌کند بدون آنکه هرگز ϕ(x)\phi(\mathbf{x}) صریحاً ساخته شود:

K(xi,xj)=⟨ϕ(xi),ϕ(xj)⟩K(\mathbf{x}_i, \mathbf{x}_j) = \langle \phi(\mathbf{x}_i), \phi(\mathbf{x}_j) \rangle

2.2 صورت دوگان

با ترفند کرنل، تابع رگرسیون مجموع وزنی شباهت‌های کرنلی به هر نقطهٔ آموزش می‌شود:

y^(x)=∑i=1nαi K(x,xi)\hat{y}(\mathbf{x}) = \sum_{i=1}^n \alpha_i \, K(\mathbf{x}, \mathbf{x}_i)

که:

  • αi\alpha_i وزن‌های آموخته‌شده از داده‌اند

  • K(x,xi)K(\mathbf{x}, \mathbf{x}_i) شباهت میان نقطهٔ آزمون x\mathbf{x} و نقطهٔ آموزش xi\mathbf{x}_i را می‌سنجد

تفسیر: پیش‌بینی میانگینی وزنی از خروجی‌های آموزش است که وزن‌هایش αi\alpha_i به‌جای میانگین ساده، آموخته می‌شوند.


3. آموزش: حل برای α\boldsymbol{\alpha}

3.1 مسئلهٔ بهینه‌سازی

αi\alpha_i را با برازش دادهٔ آموزش یاد می‌گیریم:

min⁡α∑j=1n(yj−∑i=1nαiK(xj,xi))2\min_{\boldsymbol{\alpha}} \sum_{j=1}^n \left( y_j - \sum_{i=1}^n \alpha_i K(\mathbf{x}_j, \mathbf{x}_i) \right)^2

3.2 صورت ماتریسی

تعریف کنید:

  • ماتریس کرنل K\mathbf{K} (اندازهٔ n×nn \times n): Kij=K(xi,xj)\mathbf{K}_{ij} = K(\mathbf{x}_i, \mathbf{x}_j)

  • بردار وزن α=[α1,...,αn]T\boldsymbol{\alpha} = [\alpha_1, ..., \alpha_n]^T

  • بردار خروجی y=[y1,...,yn]T\mathbf{y} = [y_1, ..., y_n]^T

برای همهٔ نقطه‌های آموزش، پیش‌بینی‌ها چنین‌اند:

y^=Kα\hat{\mathbf{y}} = \mathbf{K} \boldsymbol{\alpha}

مجموع مربع خطا چنین می‌شود:

∥y−Kα∥2\|\mathbf{y} - \mathbf{K} \boldsymbol{\alpha}\|^2

3.3 جواب

مشتق را می‌گیریم و صفر می‌گذاریم:

∂∂α∥y−Kα∥2=−2KT(y−Kα)=0\frac{\partial}{\partial \boldsymbol{\alpha}} \|\mathbf{y} - \mathbf{K} \boldsymbol{\alpha}\|^2 = -2\mathbf{K}^T(\mathbf{y} - \mathbf{K}\boldsymbol{\alpha}) = 0

چون K\mathbf{K} متقارن است (KT=K\mathbf{K}^T = \mathbf{K}):

K(y−Kα)=0\mathbf{K}(\mathbf{y} - \mathbf{K}\boldsymbol{\alpha}) = 0
Ky=K2α\mathbf{K}\mathbf{y} = \mathbf{K}^2\boldsymbol{\alpha}

اگر K\mathbf{K} وارون‌پذیر باشد (کرنل مثبت معین با نقطه‌های متمایز)، در K−1\mathbf{K}^{-1} ضرب کنید:

y=Kα\mathbf{y} = \mathbf{K}\boldsymbol{\alpha}

پس:

α=K−1y\boxed{\boldsymbol{\alpha} = \mathbf{K}^{-1} \mathbf{y}}

نکتهٔ کلیدی: وزن‌های α\boldsymbol{\alpha} چنان برگزیده می‌شوند که پیش‌بینی‌های آموزش دقیقاً با خروجی‌های آموزش بخوانند (y^train=y\hat{\mathbf{y}}_{\text{train}} = \mathbf{y}). این درون‌یابی دقیق است.


4. پیش‌بینی روی دادهٔ تازه

4.1 یک نقطهٔ آزمون

برای نقطهٔ آزمون تازه xtest\mathbf{x}_{\text{test}} (که در مجموعهٔ آموزش نیست):

گام 1: شباهت‌های کرنلی میان xtest\mathbf{x}_{\text{test}} و همهٔ نقطه‌های آموزش را حساب کنید:

ktest=[K(xtest,x1)K(xtest,x2)⋮K(xtest,xn)](size n×1)\mathbf{k}_{\text{test}} = \begin{bmatrix} K(\mathbf{x}_{\text{test}}, \mathbf{x}_1) \\ K(\mathbf{x}_{\text{test}}, \mathbf{x}_2) \\ \vdots \\ K(\mathbf{x}_{\text{test}}, \mathbf{x}_n) \end{bmatrix} \quad \text{(size } n \times 1\text{)}

گام 2: با همان فرمول پیش‌بینی کنید:

y^test=∑i=1nαiK(xtest,xi)=ktestTα\hat{y}_{\text{test}} = \sum_{i=1}^n \alpha_i K(\mathbf{x}_{\text{test}}, \mathbf{x}_i) = \mathbf{k}_{\text{test}}^T \boldsymbol{\alpha}

4.2 چند نقطهٔ آزمون

برای mm نقطهٔ آزمون {xtest(1),…,xtest(m)}\{\mathbf{x}_{\text{test}}^{(1)}, \dots, \mathbf{x}_{\text{test}}^{(m)}\}:

Ktest\mathbf{K}_{\text{test}} را ماتریسی m×nm \times n تعریف کنید:

[Ktest]pj=K(xtest(p),xj)[\mathbf{K}_{\text{test}}]_{pj} = K(\mathbf{x}_{\text{test}}^{(p)}, \mathbf{x}_j)

آن‌گاه پیش‌بینی‌ها:

y^test=Ktest α\hat{\mathbf{y}}_{\text{test}} = \mathbf{K}_{\text{test}} \, \boldsymbol{\alpha}

4.3 خلاصهٔ آموزش در برابر آزمون

مرحلهورودیپیش‌بینیبرابر yy واقعی؟
آموزشK\mathbf{K} (n×nn \times n)y^train=Kα\hat{\mathbf{y}}_{\text{train}} = \mathbf{K}\boldsymbol{\alpha}بله (برازش دقیق)
آزمونktest\mathbf{k}_{\text{test}} (n×1n \times 1)y^test=ktestTα\hat{y}_{\text{test}} = \mathbf{k}_{\text{test}}^T \boldsymbol{\alpha}نه (تعمیم)

مهم: ویژگی درون‌یابی y^train=y\hat{\mathbf{y}}_{\text{train}} = \mathbf{y} فقط برای دادهٔ آموزش برقرار است. برای نقطه‌های آزمون، پیش‌بینی‌ها با شباهت به نقطه‌های آموزش تعیین می‌شوند، نه با تطبیق دقیق.


5. پیوند با شبه‌وارون

5.1 نگاه یکپارچه

از پیوست ماتریس‌ها به یاد آورید شبه‌وارون X+X^+ معادلهٔ Xw=yX\mathbf{w} = \mathbf{y} را بهینه حل می‌کند. برای رگرسیون کرنلی Kα=y\mathbf{K}\boldsymbol{\alpha} = \mathbf{y} را حل می‌کنیم، پس:

α=K+y\boldsymbol{\alpha} = \mathbf{K}^+ \mathbf{y}

وقتی K\mathbf{K} وارون‌پذیر است، K+=K−1\mathbf{K}^+ = \mathbf{K}^{-1}. وقتی K\mathbf{K} تکین یا بدشرط باشد، از تنظیم‌کننده استفاده می‌کنیم.

5.2 تنظیم‌کننده (رگرسیون ریج کرنلی)

در عمل، با دادهٔ نوفه‌دار، درون‌یابی دقیق به بیش‌برازش می‌انجامد. جملهٔ جریمهٔ ریج λ∥f∥2\lambda \|\mathbf{f}\|^2 را بیفزایید:

min⁡α∥y−Kα∥2+λαTKα\min_{\boldsymbol{\alpha}} \|\mathbf{y} - \mathbf{K}\boldsymbol{\alpha}\|^2 + \lambda \boldsymbol{\alpha}^T \mathbf{K} \boldsymbol{\alpha}

جواب چنین می‌شود:

α=(K+λI)−1y\boxed{\boldsymbol{\alpha} = (\mathbf{K} + \lambda \mathbf{I})^{-1} \mathbf{y}}

این برآوردگر ریج کرنلی است. جملهٔ تنظیم‌کننده:

  • پایداری عددی را بهتر می‌کند (وارون‌پذیری را تضمین می‌کند)

  • با کوچک کردن وزن‌ها از بیش‌برازش جلو می‌گیرد

  • همواری تابع پیش‌بینی را کنترل می‌کند


تمرین عملی

<Figure size 800x400 with 1 Axes>

6. اثر تنظیم‌کننده و سطح نوفه بر رگرسیون کرنلی

Source
<Figure size 1500x1000 with 6 Axes>

======================================================================
SUMMARY: Test MSE for different noise levels and regularization
======================================================================
Noise σ    λ = 0                λ = 1e-6             λ = 0.1             
----------------------------------------------------------------------
0.0       0.000000            0.000008            0.004277            
0.1       10490347.742265     0.368313            0.007773            
======================================================================

                       📊 INTERPRETATION GUIDE 📊                       
======================================================================
1. NOISE σ = 0 (No noise):
   - λ = 0: Perfect fit (MSE ≈ 0) - model interpolates exactly
   - λ > 0: Slight bias introduced, but still good fit

2. NOISE σ = 0.1 (Low noise):
   - λ = 0: May overfit slightly, capturing noise patterns
   - λ = 1e-6: Balances fit and smoothness
   - λ = 0.1: May underfit (too smooth)

💡 KEY INSIGHT:
   - More noise → need stronger regularization (larger λ)
   - No noise → λ = 0 gives perfect interpolation
   - Too much regularization → underfitting (bias)
   - Too little regularization → overfitting (variance)
======================================================================

7. نگاه اولیه در برابر نگاه دوگان

7.1 دو شکل جواب

در رگرسیون خطی استاندارد با ویژگی‌های X\mathbf{X}، بردار وزن را می‌توان به دو شکل هم‌ارز نوشت:

صورت اولیه (فضای ویژگی):

w=(XTX)−1XTy\mathbf{w} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}

صورت دوگان (فضای نمونه):

w=XT(XXT)−1y\mathbf{w} = \mathbf{X}^T (\mathbf{X} \mathbf{X}^T)^{-1} \mathbf{y}

هر دو وقتی X\mathbf{X} رتبهٔ ستونی کامل دارد همان پیش‌بینی‌ها را می‌دهند.

7.2 چرا صورت دوگان برای کرنل مهم است

صورت دوگان نشان می‌دهد w\mathbf{w} ترکیبی خطی از نمونه‌های آموزش است:

w=∑i=1nαixi,whereα=(XXT)−1y\mathbf{w} = \sum_{i=1}^n \alpha_i \mathbf{x}_i, \quad \text{where} \quad \boldsymbol{\alpha} = (\mathbf{X} \mathbf{X}^T)^{-1} \mathbf{y}

وقتی به فضای ویژگی ϕ(x)\phi(\mathbf{x}) نگاشت می‌کنیم، این چنین می‌شود:

w=∑i=1nαiϕ(xi),withα=(K)−1y\mathbf{w} = \sum_{i=1}^n \alpha_i \phi(\mathbf{x}_i), \quad \text{with} \quad \boldsymbol{\alpha} = (\mathbf{K})^{-1} \mathbf{y}

که Kij=ϕ(xi)Tϕ(xj)=K(xi,xj)\mathbf{K}_{ij} = \phi(\mathbf{x}_i)^T \phi(\mathbf{x}_j) = K(\mathbf{x}_i, \mathbf{x}_j).

نکتهٔ کلیدی: پیش‌بینی برای نقطهٔ تازه چنین می‌شود:

y^(x)=wTϕ(x)=∑i=1nαiϕ(xi)Tϕ(x)=∑i=1nαiK(xi,x)\hat{y}(\mathbf{x}) = \mathbf{w}^T \phi(\mathbf{x}) = \sum_{i=1}^n \alpha_i \phi(\mathbf{x}_i)^T \phi(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}_i, \mathbf{x})

هرگز به ϕ(x)\phi(\mathbf{x}) صریح نیاز نداریم — فقط به مقدارهای کرنل K(xi,x)K(\mathbf{x}_i, \mathbf{x})!

7.3 مبادله‌های محاسباتی

سناریوصورت اولیهصورت دوگان
n≪dn \ll d (نمونهٔ کم، ویژگی زیاد)کند (وارون d×dd \times d)سریع (وارون n×nn \times n)
n≫dn \gg d (نمونهٔ زیاد، ویژگی کم)سریع (وارون d×dd \times d)کند (وارون n×nn \times n)
کرنل‌های ناخطی (RBF، چندجمله‌ای)کاربرد نداردلازم است (ترفند کرنل)

مثال: کرنل RBF با n=1000n=1000 نمونه عملاً ویژگی‌های بی‌نهایت‌بعد (d=∞d = \infty) به کار می‌برد:

  • صورت اولیه ناممکن است (نمی‌توان ϕ(x)\phi(\mathbf{x}) را صریح حساب کرد)

  • صورت دوگان با ماتریس کرنل 1000×10001000 \times 1000 کار می‌کند


8. نکته‌های کلیدی

  1. رگرسیون کرنلی برازش ناخطی را ممکن می‌کند، با نگاشت ضمنی داده به فضاهای پرابعاد

  2. صورت‌بندی دوگان پیش‌بینی‌ها را به‌صورت مجموع وزنی شباهت‌های کرنلی می‌نویسد:

    y^(x)=∑i=1nαiK(x,xi)\hat{y}(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}, \mathbf{x}_i)
  3. آموزش α=K−1y\boldsymbol{\alpha} = \mathbf{K}^{-1}\mathbf{y} (بدون تنظیم) یا α=(K+λI)−1y\boldsymbol{\alpha} = (\mathbf{K} + \lambda\mathbf{I})^{-1}\mathbf{y} (با تنظیم) را حل می‌کند

  4. آزمون از y^test=ktestTα\hat{y}_{\text{test}} = \mathbf{k}_{\text{test}}^T \boldsymbol{\alpha} استفاده می‌کند، که ktest\mathbf{k}_{\text{test}} شباهت‌های میان نقطه‌های آزمون و آموزش را دارد

  5. تنظیم‌کننده (λ>0\lambda > 0) برای این‌ها ضروری است:

    • پایداری عددی (تضمین وارون‌پذیری K+λI\mathbf{K} + \lambda\mathbf{I})

    • جلوگیری از بیش‌برازش به نوفه

  6. انتخاب کرنل انعطاف مدل را کنترل می‌کند:

    • کرنل خطی →\rightarrow رگرسیون خطی استاندارد

    • کرنل RBF →\rightarrow تقریب هموار و محلی

    • کرنل چندجمله‌ای →\rightarrow جمله‌های تعاملی تا درجهٔ dd