Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

نقشه‌های ویژگی: پلی به روش‌های هسته

English · فارسی

1. مقدمه‌ای بر نقشه‌های ویژگی

یک نقشهٔ ویژگی ϕ\phi دادهٔ ورودی را به فضایی با ابعاد بالاتر می‌برد:

ϕ:Rp→Rdwhere d≫p\phi: \mathbb{R}^p \rightarrow \mathbb{R}^d \quad \text{where } d \gg p

انگیزهٔ اصلی: توانمند کردن مدل‌های خطی برای حل مسئله‌های ناخطی، از راه:

  • نگاشت صریح برای دسته‌بندی/خوشه‌بندی

  • بسط پایه برای رگرسیون

برای روش‌های پیشرفتهٔ ساختن ویژگی، MathFeatures در Feature-Engine را ببینید.

2. دسته‌بندی: مسئلهٔ دو حلقه

2.1 فضای دوبعدی اصلی (شکست خطی)

Source
<Figure size 1500x600 with 2 Axes>

نگاشت ϕ(x,y)=[x,y,x2+y2]\phi(x,y) = [x, y, x^2+y^2] با تبدیل فاصلهٔ شعاعی به یک ویژگی خطی، دسته‌ها را خطی‌جداپذیر می‌کند.

Output
Loading...
Source
<Figure size 1000x700 with 1 Axes>
Source
Image produced in Jupyter

3. خوشه‌بندی: مسئلهٔ دو حلقه

Source
<Figure size 1200x600 with 2 Axes>

4. مثال رگرسیون: استفاده از نقشهٔ ویژگی برای دادهٔ ناخطی

هدف: نشان دادن اینکه نگاشت ویژگی‌ها به فضایی با ابعاد بالاتر چگونه به یک مدل خطی اجازه می‌دهد دادهٔ ناخطی را برازش کند.

انگیزه: مدل‌های رگرسیون خطی استاندارد رابطهٔ خطی میان ویژگی‌ها (متغیرهای مستقل) و هدف (متغیر وابسته) را فرض می‌کنند. وقتی رابطهٔ زیربنایی ناخطی باشد چه می‌شود؟ یک مدل خطی ساده ضعیف عمل می‌کند.

سناریویی را در نظر بگیرید که داده از یک منحنی پیروی می‌کند، مثلاً رابطه‌ای درجه‌دوم. یک خط راست (از رگرسیون خطی) این منحنی را خوب نمی‌گیرد.

ایدهٔ حل: می‌توانیم ویژگی‌های اصلی را به فضایی با ابعاد بالاتر ببریم که در آن رابطه خطی می‌شود. این تبدیل نقشهٔ ویژگی نام دارد و با Φ نشان داده می‌شود.

بیایید با یک مثال نشان دهیم.

4.1 تولید دادهٔ ناخطی

دادهٔ مصنوعی می‌سازیم که در آن y به‌صورت درجه‌دوم به x وابسته است، به‌علاوهٔ کمی نوفهٔ تصادفی تا واقعی‌تر شود.

Source
<Figure size 800x600 with 1 Axes>

همان‌طور که می‌بینید، داده آشکارا از یک منحنی پیروی می‌کند، نه از یک خط راست.

4.2 تلاش برای رگرسیون خطی ساده (فضای اصلی)

ببینیم یک مدل رگرسیون خطی استاندارد بدون هیچ تبدیل ویژگی روی این داده چگونه عمل می‌کند.

Source
<Figure size 800x600 with 1 Axes>
Linear Regression Score (R^2): 0.4260

مدل خطی نهایت تلاشش را می‌کند تا خطی راست را از دادهٔ منحنی بگذراند، ولی آشکارا برازش ضعیفی است. امتیاز R² احتمالاً پایین است، که نشان می‌دهد مدل واریانس داده را زیاد توضیح نمی‌دهد.

4.3 اعمال یک نقشهٔ ویژگی (ویژگی‌های چندجمله‌ای)

حالا یک نقشهٔ ویژگی اعمال می‌کنیم. چون می‌دانیم رابطهٔ زیربنایی درجه‌دوم است (y ≈ ax² + bx + c)، نقشهٔ ویژگی مناسبی مثل Φ ویژگی تک‌تای x ما را به دو ویژگی تبدیل می‌کند: x و x². پس Φ(x) = [x, x²].

این کار را با PolynomialFeatures در Scikit-Learn انجام می‌دهیم.

Original X (first 5 samples):
 [[-0.75275929]
 [ 2.70428584]
 [ 1.39196365]
 [ 0.59195091]
 [-2.06388816]]

Transformed X_poly (first 5 samples) [x, x^2]:
 [[-0.75275929  0.56664654]
 [ 2.70428584  7.3131619 ]
 [ 1.39196365  1.93756281]
 [ 0.59195091  0.35040587]
 [-2.06388816  4.25963433]]

توجه کنید دادهٔ ما اکنون در فضای ویژگی دوبعدی [x, x²] نمایش داده می‌شود.

4.4 رگرسیون خطی در فضای ویژگی با ابعاد بالاتر

اکنون یک مدل رگرسیون خطی آموزش می‌دهیم، ولی با ویژگی‌های تبدیل‌شده (X_poly). مدل برای x و x² وزن یاد می‌گیرد و عملاً مدلی به شکل y = w₁*x + w₂*x² + b برازش می‌کند، که w₁ و w₂ وزن‌ها (ضریب‌ها) و b عرض از مبدأ (بایاس) است. این مدلی خطی نسبت به ویژگی‌های تازه x و x² است.

مدل خطی اصلی:

y^=wTx=∑i=1pwixi\hat{y} = \mathbf{w}^T\mathbf{x} = \sum_{i=1}^{p} w_i x_i

تبدیلی ϕ\phi که ویژگی‌ها را به ابعاد بالاتر می‌برد:

ϕ:Rp→Rd(d≫p)\phi: \mathbb{R}^p \rightarrow \mathbb{R}^d \quad (d \gg p)

مدل تازه چنین می‌شود:

y^=wTϕ(x)\hat{y} = \mathbf{w}^T\phi(\mathbf{x})

برای p=1 و درجه=2:

[1,x1]→ϕ[1,x1,x12][1, x_1] \xrightarrow{\phi} [1, x_1, x_1^2]
Source
<Figure size 800x600 with 1 Axes>
Polynomial Regression Score (R^2): 0.8525
Coefficients (w1, w2): [[0.93366893 0.56456263]]
Intercept (b): [1.78134581]

4.5 نتیجه

با نگاشت ویژگی تک‌تای اصلی x به فضایی با ابعاد بالاتر [x, x²]، به یک مدل رگرسیون خطی استاندارد امکان دادیم رابطهٔ ناخطی (درجه‌دوم) موجود در داده را کامل بگیرد. برازش حاصل بسیار بهتر است، همان‌طور که از نظر دیداری و با امتیاز R² به‌مراتب بالاتر پیداست.

این مثال قدرت نقشه‌های ویژگی را نشان می‌دهد: تبدیل داده به فضایی که مدل‌های خطی در آن کارآمد می‌شوند، حتی وقتی رابطهٔ اصلی ناخطی بوده است.

گذار به ترفند کرنل: هرچند این نگاشت صریح ویژگی برای دادهٔ کم‌بعد و تبدیل‌های ساده خوب کار می‌کند، حساب کردن و نگه داشتن این ویژگی‌های پرابعاد می‌تواند پرهزینه یا حتی ناممکن شود اگر دادهٔ اصلی یا فضای ویژگی هدف ابعاد بسیار بالایی داشته باشد (مثلاً ویژگی‌های چندجمله‌ای با درجهٔ بسیار بالا یا نگاشت‌های پیچیدهٔ دیگر). ترفند کرنل میان‌بُری ریاضی می‌دهد تا همان نتیجهٔ کار در فضای ویژگی پرابعاد به دست آید بدون آنکه مختصات داده در آن فضا صریحاً حساب شود. این اجازه می‌دهد الگوریتم‌هایی که فقط به ضرب داخلی میان نقطه‌های داده وابسته‌اند (مثل ماشین بردار پشتیبان) به‌صورت ضمنی در فضای ویژگی پرابعاد کار کنند و نگاشت‌های پیچیده از نظر محاسباتی شدنی شوند. این مثال رگرسیون به ساختن شهود دربارهٔ اینکه چرا چنین نگاشت‌های ضمنی مطلوب‌اند کمک می‌کند.

Notebook Cell

برای رویکردهای نوین، Dynamic and Adaptive Feature Generation with LLM را ببینید.

Notebook Cell