Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

تحلیل مؤلفه‌های اصلی، بخش 2

English · فارسی
English · فارسی

از مبانی ریاضی تا پیاده‌سازی عملی


تحلیل مؤلفه‌های اصلی (PCA) تکنیکی بنیادی برای کاهش بُعد است که زیرفضایی بهینه و rr-بعدی را می‌یابد که بیشترین واریانس داده را در خود دارد. بنیاد ریاضی آن بر یافتن جهت‌های متعامد — موسوم به مؤلفه‌های اصلی — استوار است که به‌ترتیب واریانس تصویرشده را بیشینه می‌کنند.

با ماتریس دادهٔ مرکز‌شدهٔ X\mathbf{X}، بردارهای یکهٔ u\mathbf{u} را می‌جوییم که واریانس دادهٔ تصویرشده Xu\mathbf{X}\mathbf{u} را بیشینه کنند:

max⁡∥u∥=1Var(Xu)\max_{\|\mathbf{u}\|=1} \text{Var}(\mathbf{X}\mathbf{u})

این بهینه‌سازی به مسئلهٔ کلیدی مقدار ویژه می‌انجامد:

Cu=λu\mathbf{C}\mathbf{u} = \lambda\mathbf{u}

که C\mathbf{C} ماتریس کوواریانس است.

در بخش‌های بعدی، جواب این مسئله را گام‌به‌گام استنتاج می‌کنیم و تفسیر هندسی آن را نشان می‌دهیم.


Source
<Figure size 1200x800 with 1 Axes>

مبانی جبر خطی

نمایش ماتریس داده

ماتریس دادهٔ X\mathbf{X} با nn سطر (نمونه) و dd ستون (ویژگی) را می‌توان چنین نوشت:

X=[x11x12⋯x1dx21x22⋯x2d⋮⋮⋱⋮xn1xn2⋯xnd]\mathbf{X} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d}\\ x_{21} & x_{22} & \cdots & x_{2d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n1} & x_{n2} & \cdots & x_{nd} \end{bmatrix}

هر سطر xi=(xi1,xi2,…,xid)T\mathbf{x}_i = (x_{i1}, x_{i2}, \ldots, x_{id})^T یک نمونه در فضای dd-بعدی را نشان می‌دهد.

Source

عملیات برداری

ضرب داخلی
aTb=∑i=1maibi\mathbf{a}^T\mathbf{b} = \sum_{i=1}^m a_i b_i
طول بردار (نُرم)
∥a∥=aTa=∑i=1mai2\|\mathbf{a}\| = \sqrt{\mathbf{a}^T\mathbf{a}} = \sqrt{\sum_{i=1}^m a_i^2}
بردار یکه
u=a∥a∥\mathbf{u} = \frac{\mathbf{a}}{\|\mathbf{a}\|}
فاصلهٔ میان بردارها
∥a−b∥=∑i=1m(ai−bi)2\|\mathbf{a} - \mathbf{b}\| = \sqrt{\sum_{i=1}^m (a_i-b_i)^2}
زاویهٔ میان بردارها
cos⁡θ=aTb∥a∥∥b∥\cos \theta = \frac{\mathbf{a}^T\mathbf{b}}{\|\mathbf{a}\|\|\mathbf{b}\|}
Dot product: 11
Norm of a: 5.00
Norm of b: 2.24
Angle between vectors: 10.30 degrees

تصویر بردارها (استنتاج و شهود هندسی)

استنتاج فرمول تصویر

با عملیات پایهٔ برداری شروع می‌کنیم تا فرمول تصویر را طبیعتاً استنتاج کنیم:

  1. رابطهٔ ضرب داخلی و زاویه: از تعریف‌های پیشین می‌دانیم:

    aTb=∥a∥∥b∥cos⁡θ\mathbf{a}^T \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos \theta

    این هم‌راستایی میان بردارها را می‌سنجد.

  2. تصویر اسکالر (طول سایه): طول سایهٔ b\mathbf{b} روی a\mathbf{a} چنین است:

    Scalar projection=∥b∥cos⁡θ=aTb∥a∥\text{Scalar projection} = \|\mathbf{b}\| \cos \theta = \frac{\mathbf{a}^T \mathbf{b}}{\|\mathbf{a}\|}

    برای بردارهای یکه این ساده می‌شود به aTb\mathbf{a}^T \mathbf{b}.

  3. تصویر برداری: برای رسیدن به شکل برداری، تصویر اسکالر را در بردار یکهٔ a\mathbf{a} ضرب می‌کنیم:

    b∥=(aTb∥a∥)(a∥a∥)=aTb∥a∥2a\mathbf{b}_{\parallel} = \left( \frac{\mathbf{a}^T \mathbf{b}}{\|\mathbf{a}\|} \right) \left( \frac{\mathbf{a}}{\|\mathbf{a}\|} \right) = \frac{\mathbf{a}^T \mathbf{b}}{\|\mathbf{a}\|^2} \mathbf{a}
فرمول نهایی تصویر
b∥=(aTb∥a∥2)a\mathbf{b}_{\parallel} = \left( \frac{\mathbf{a}^T \mathbf{b}}{\|\mathbf{a}\|^2} \right) \mathbf{a}

نکته‌های کلیدی:

  1. تفسیر ضرب داخلی:

    • صورت aTb\mathbf{a}^T \mathbf{b} هم‌راستایی را می‌سنجد

    • مخرج ∥a∥2\|\mathbf{a}\|^2 برای طول بردار نرمال‌سازی می‌کند

  2. حالت خاص — بردار یکه: وقتی ∥a∥=1\|\mathbf{a}\|=1:

    b∥=(aTb)a\mathbf{b}_{\parallel} = (\mathbf{a}^T \mathbf{b}) \mathbf{a}
  3. معنای هندسی:

    • b∥\mathbf{b}_{\parallel} سایهٔ b\mathbf{b} روی a\mathbf{a} است

    • باقی‌ماندهٔ b⊥=b−b∥\mathbf{b}_{\perp} = \mathbf{b} - \mathbf{b}_{\parallel} بر a\mathbf{a} عمود است

مثال

بگذارید a=[10]\mathbf{a} = \begin{bmatrix} 1 \\ 0 \end{bmatrix} و b=[32]\mathbf{b} = \begin{bmatrix} 3 \\ 2 \end{bmatrix}.

  • گام 1: aTb=1×3+0×2=3\mathbf{a}^T \mathbf{b} = 1 \times 3 + 0 \times 2 = 3.

  • گام 2: ∥a∥2=12+02=1\|\mathbf{a}\|^2 = 1^2 + 0^2 = 1.

  • گام 3: تصویر b∥=3[10]=[30]\mathbf{b}_{\parallel} = 3\begin{bmatrix} 1 \\ 0 \end{bmatrix} = \begin{bmatrix} 3 \\ 0 \end{bmatrix}.

  • مؤلفهٔ عمود: b⊥=[32]−[30]=[02]\mathbf{b}_{\perp} = \begin{bmatrix} 3 \\ 2 \end{bmatrix} - \begin{bmatrix} 3 \\ 0 \end{bmatrix} = \begin{bmatrix} 0 \\ 2 \end{bmatrix}.

تفسیر: چون a\mathbf{a} در راستای محور x است، b∥\mathbf{b}_{\parallel} فقط مؤلفهٔ x از b\mathbf{b} را نگه می‌دارد و b⊥\mathbf{b}_{\perp} مؤلفهٔ باقی‌ماندهٔ y را می‌گیرد که بر a\mathbf{a} عمود است.


پیوند با PCA: این مفهوم تصویر، قلب هندسی PCA است. در بخش بعد آن را به چند بُعد گسترش می‌دهیم و به جواب PCA از راه تجزیهٔ مقادیر ویژه می‌رسیم.


Original vector b: [3 2]
Projection onto a: [3. 0.]
Perpendicular component: [0. 2.]
Verification (should equal b): [3. 2.]
Source
<Figure size 1000x500 with 1 Axes>
Vector a: [1 0], magnitude: 1.00
Vector b: [3 2], magnitude: 3.61
b_parallel: [3. 0.], magnitude: 3.00
b_perpendicular: [0. 2.], magnitude: 2.00

تبدیل پایه

تغییر پایه

هر بردار x\mathbf{x} را می‌توان برحسب یک پایهٔ متعامد یکهٔ تازه {u1,u2,…,ud}\{\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_d\} نوشت:

x=a1u1+a2u2+⋯+adud=Ua\mathbf{x} = a_1\mathbf{u}_1 + a_2\mathbf{u}_2 + \cdots + a_d\mathbf{u}_d = \mathbf{U}\mathbf{a}

که U=[u1∣u2∣⋯∣ud]\mathbf{U} = [\mathbf{u}_1 \mid \mathbf{u}_2 \mid \cdots \mid \mathbf{u}_d] بردارهای پایهٔ تازه را در ستون‌هایش دارد و a\mathbf{a} مختصات x\mathbf{x} در پایهٔ تازه است:

a=UTx\mathbf{a} = \mathbf{U}^T\mathbf{x}

این کار می‌کند چون متعامد یکه بودن UTU=I\mathbf{U}^T\mathbf{U} = \mathbf{I} می‌دهد، پس مختصات در راستای ui\mathbf{u}_i به‌سادگی ضرب داخلی ai=uiTxa_i = \mathbf{u}_i^T \mathbf{x} است.

Original vector x: [0.5 1.  2. ]
In standard basis: 0.5i + 1.0j + 2.0k
[[ 0.70710678 -0.70710678  0.        ]
 [ 0.70710678  0.70710678  0.        ]
 [ 0.          0.          1.        ]]
Source
<Figure size 1500x500 with 2 Axes>

بنیاد ریاضی ماتریس دوران

مبانی دوران در دو بعد

ماتریس دوران بردارها را با چرخاندنشان به اندازهٔ زاویهٔ مشخص θ دگرگون می‌کند و طولشان را نگه می‌دارد. برای دورانی 45 درجه در صفحهٔ xy (θ = π/4 رادیان)، ماتریس دوران پایه چنین است:

R(θ)=[cos⁡θ−sin⁡θ0sin⁡θcos⁡θ0001]\mathbf{R}(\theta) = \begin{bmatrix} \cos\theta & -\sin\theta & 0 \\ \sin\theta & \cos\theta & 0 \\ 0 & 0 & 1 \end{bmatrix}

برای θ = 45 درجه:

cos⁡(45°)=sin⁡(45°)=12≈0.7071\cos(45°) = \sin(45°) = \frac{1}{\sqrt{2}} \approx 0.7071

پس ماتریس دوران 45 درجه چنین می‌شود:

R45°=[12−12012120001]\mathbf{R}_{45°} = \begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0 \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} & 0 \\ 0 & 0 & 1 \end{bmatrix}
تبدیل پایه

در کد پیشین، این ماتریس دوران بردارهای پایهٔ تازه‌ای تعریف می‌کند:

u1 = np.array([1/np.sqrt(2), 1/np.sqrt(2), 0])  # Rotated x-axis
u2 = np.array([-1/np.sqrt(2), 1/np.sqrt(2), 0]) # Rotated y-axis 
u3 = np.array([0, 0, 1])                        # Unchanged z-axis

این‌ها پایه‌ای متعامد یکه می‌سازند:

  1. u1\mathbf{u}_1: محور x اصلی که 45 درجه پادساعتگرد چرخیده

  2. u2\mathbf{u}_2: محور y اصلی که 45 درجه پادساعتگرد چرخیده

  3. u3\mathbf{u}_3: محور z اصلی (بدون تغییر)

ویژگی‌های کلیدی
  1. متعامد یکه بودن:

    • uiTuj={1if i=j0otherwise\mathbf{u}_i^T\mathbf{u}_j = \begin{cases} 1 & \text{if } i=j \\ 0 & \text{otherwise} \end{cases}

  2. دترمینان: det⁡(R)=1\det(\mathbf{R}) = 1 (جهت‌گیری را حفظ می‌کند)

  3. وارون: R−1=RT\mathbf{R}^{-1} = \mathbf{R}^T (ترانهاده دوران را برمی‌گرداند)

دگرگونی بردار

برای هر بردار x=[x,y,z]T\mathbf{x} = [x,y,z]^T، نسخهٔ چرخیده چنین است:

x′=Rx=[x−y2x+y2z]\mathbf{x}' = \mathbf{R}\mathbf{x} = \begin{bmatrix} \frac{x - y}{\sqrt{2}} \\ \frac{x + y}{\sqrt{2}} \\ z \end{bmatrix}

این با رویکرد تبدیل پایهٔ ما می‌خواند که در آن:

x′=xu1+yu2+zu3\mathbf{x}' = x\mathbf{u}_1 + y\mathbf{u}_2 + z\mathbf{u}_3
چرا کار می‌کند

ستون‌های R\mathbf{R} دقیقاً تصویر بردارهای پایهٔ استاندارد زیر دوران‌اند. وقتی ضرب می‌کنیم:

R[100]=u1,R[010]=u2,R[001]=u3\mathbf{R}\begin{bmatrix}1\\0\\0\end{bmatrix} = \mathbf{u}_1, \quad \mathbf{R}\begin{bmatrix}0\\1\\0\end{bmatrix} = \mathbf{u}_2, \quad \mathbf{R}\begin{bmatrix}0\\0\\1\end{bmatrix} = \mathbf{u}_3

پس R\mathbf{R} دقیقاً می‌گوید هر محور کجا می‌رود — و همین دلیل است که ستون‌هایش پایهٔ تازه را می‌سازند.


In new basis: 1.06u1 + 0.35u2 + 2.00u3

Reconstructed x: [0.5 1.  2. ]
Reconstruction error: 0.0000000000

بنیاد ریاضی PCA

مسئلهٔ بیشینه‌سازی واریانس

PCA پایه‌ای متعامد یکه {u1,…,ur}\{\mathbf{u}_1, \dots, \mathbf{u}_r\} می‌جوید که با بهینه‌سازی متوالی بیشترین واریانس داده را در خود بگیرد:

  1. مؤلفهٔ اصلی اول: بردار یکهٔ u1\mathbf{u}_1 را بیاب که واریانس تصویرشده را بیشینه کند:

    max⁡∥u1∥=1Var(Xu1)\max_{\|\mathbf{u}_1\|=1} \text{Var}(\mathbf{X}\mathbf{u}_1)
  2. مؤلفه‌های بعدی: هر uk\mathbf{u}_k با بیشینه کردن واریانس عمود بر مؤلفه‌های پیشین یافته می‌شود:

    max⁡∥uk∥=1, uk⊥{u1,…,uk−1}Var(Xuk)\max_{\|\mathbf{u}_k\|=1, \, \mathbf{u}_k \perp \{\mathbf{u}_1, \dots, \mathbf{u}_{k-1}\}} \text{Var}(\mathbf{X}\mathbf{u}_k)

به کوتاهی، مؤلفهٔ اصلی اول جهت بیشترین پخش‌شدگی داده است. هر مؤلفهٔ بعدی باید بر همهٔ مؤلفه‌های پیشین عمود باشد تا اطلاعات واقعاً تازه و مستقل بگیرد.

یافتن مؤلفهٔ اصلی اول

بردار یکهٔ u\mathbf{u} را می‌جوییم که واریانس دادهٔ تصویرشده را بیشینه کند:

max⁡∥u∥=1Var(Xu)=max⁡∥u∥=11n∑i=1n(uTxi−μu)2\max_{\|\mathbf{u}\|=1} \text{Var}(\mathbf{X}\mathbf{u}) = \max_{\|\mathbf{u}\|=1} \frac{1}{n} \sum_{i=1}^n \left( \mathbf{u}^T \mathbf{x}_i - \mu_{\mathbf{u}} \right)^2

که μu=1n∑i=1nuTxi=uTxˉ\mu_{\mathbf{u}} = \frac{1}{n} \sum_{i=1}^n \mathbf{u}^T \mathbf{x}_i = \mathbf{u}^T \bar{\mathbf{x}} میانگین مقدارهای تصویرشده است (با استفاده از خطی‌بودن ضرب داخلی).

بسط واریانس:

  1. بگذارید ai=uTxia_i = \mathbf{u}^T \mathbf{x}_i تصویر اسکالر نمونهٔ iiام را نشان دهد.

  2. واریانس چنین می‌شود:

    σu2=1n∑i=1n(ai−μu)2=1n∑i=1n(uTxi−uTxˉ)2=1n∑i=1n[uT(xi−xˉ)]2\sigma^2_{\mathbf{u}} = \frac{1}{n} \sum_{i=1}^n (a_i - \mu_{\mathbf{u}})^2 = \frac{1}{n} \sum_{i=1}^n \left( \mathbf{u}^T \mathbf{x}_i - \mathbf{u}^T \bar{\mathbf{x}} \right)^2 = \frac{1}{n} \sum_{i=1}^n \left[ \mathbf{u}^T (\mathbf{x}_i - \bar{\mathbf{x}}) \right]^2

بگذارید zi=xi−xˉ\mathbf{z}_i = \mathbf{x}_i - \bar{\mathbf{x}} نقطه‌های دادهٔ مرکز‌شده را نشان دهد. گام‌به‌گام بسط می‌دهیم:

  1. از اتحاد (ATB)T=BTA(A^TB)^T = B^TA استفاده کنید و توجه کنید که (uTzi)2=(uTzi)(ziTu)(\mathbf{u}^T \mathbf{z}_i)^2 = (\mathbf{u}^T \mathbf{z}_i)(\mathbf{z}_i^T \mathbf{u}):

σu2=1n∑i=1n(uTzi)2=1n∑i=1n(uTzi)(ziTu)\sigma^2_{\mathbf{u}} = \frac{1}{n} \sum_{i=1}^n (\mathbf{u}^T \mathbf{z}_i)^2 = \frac{1}{n} \sum_{i=1}^n (\mathbf{u}^T \mathbf{z}_i)(\mathbf{z}_i^T \mathbf{u})
  1. بازآرایی کنید و ziziT\mathbf{z}_i\mathbf{z}_i^T را میان uT\mathbf{u}^T و u\mathbf{u} بگذارید:

=1n∑i=1nuTziziTu= \frac{1}{n} \sum_{i=1}^n \mathbf{u}^T \mathbf{z}_i \mathbf{z}_i^T \mathbf{u}
  1. uT\mathbf{u}^T و u\mathbf{u} را از جمع بیرون بکشید:

=uT(1n∑i=1nziziT)u= \mathbf{u}^T \left( \frac{1}{n} \sum_{i=1}^n \mathbf{z}_i \mathbf{z}_i^T \right) \mathbf{u}
  1. ماتریس کوواریانس نمونه C=1n∑i=1nziziT\mathbf{C} = \frac{1}{n} \sum_{i=1}^n \mathbf{z}_i \mathbf{z}_i^T را بشناسید:

=uTCu= \mathbf{u}^T \mathbf{C} \mathbf{u}
  1. به‌طور معادل، با ماتریس دادهٔ مرکز‌شده Z=[z1⋯zn]T∈Rn×d\mathbf{Z} = [\mathbf{z}_1 \cdots \mathbf{z}_n]^T \in \mathbb{R}^{n \times d}:

=1nuTZTZu=1n∥Zu∥2= \frac{1}{n} \mathbf{u}^T \mathbf{Z}^T \mathbf{Z} \mathbf{u} = \frac{1}{n} \|\mathbf{Z}\mathbf{u}\|^2

پس واریانس دادهٔ تصویرشده چنین است:

σu2=uTCu\boxed{\sigma^2_{\mathbf{u}} = \mathbf{u}^T \mathbf{C} \mathbf{u}}
بهینه‌سازی مقید با ضریب لاگرانژ

واریانس تصویرشدهٔ σu2=uTCu\sigma^2_\mathbf{u} = \mathbf{u}^T \mathbf{C} \mathbf{u} را با قید ∥u∥=1\|\mathbf{u}\|=1 بیشینه می‌کنیم. با وارد کردن ضریب لاگرانژ λ\lambda، لاگرانژی چنین است:

max⁡uJ(u)=uTCu−λ(uTu−1)\max_\mathbf{u} J(\mathbf{u}) = \mathbf{u}^T \mathbf{C} \mathbf{u} - \lambda (\mathbf{u}^T\mathbf{u}-1)
جواب

گرادیان نسبت به u\mathbf{u} را صفر می‌گذاریم:

∂∂u(uTCu−λ(uTu−1))=0\frac{\partial}{\partial \mathbf{u}} \left(\mathbf{u}^T \mathbf{C} \mathbf{u} - \lambda (\mathbf{u}^T\mathbf{u}-1)\right) = \mathbf{0}
2Cu−2λu=02 \mathbf{C} \mathbf{u} - 2 \lambda \mathbf{u} = \mathbf{0}
Cu=λu\mathbf{C} \mathbf{u} = \lambda \mathbf{u}

این دقیقاً معادلهٔ مقدار ویژه است: u\mathbf{u} باید بردار ویژهٔ ماتریس کوواریانس C\mathbf{C} باشد و λ\lambda مقدار ویژهٔ متناظر.

انتخاب مقدار ویژهٔ درست

با جای‌گذاری Cu=λu\mathbf{C}\mathbf{u} = \lambda\mathbf{u} در بیان واریانس:

σu2=uTCu=uTλu=λuTu=λ\sigma^2_\mathbf{u} = \mathbf{u}^T\mathbf{C}\mathbf{u} = \mathbf{u}^T \lambda \mathbf{u} = \lambda \mathbf{u}^T\mathbf{u} = \lambda

واریانس تصویرشده برابر مقدار ویژهٔ λ\lambda است. برای بیشینه کردن واریانس، پس λ1\lambda_1 یعنی بزرگ‌ترین مقدار ویژهٔ C\mathbf{C} را برمی‌گزینیم. بردار ویژهٔ متناظر u1\mathbf{u}_1 جهت بیشترین واریانس را تعریف می‌کند — مؤلفهٔ اصلی اول.

Source
u1 = [-0.83818843 -0.54538075], λ1 = 1.03
Source
<Figure size 800x600 with 1 Axes>

الگوریتم PCA

با ماتریس دادهٔ X∈Rn×d\mathbf{X} \in \mathbb{R}^{n \times d}:

  1. داده را مرکز کن: Z=X−1⋅μT\mathbf{Z} = \mathbf{X} - \mathbf{1}\cdot\mathbf{\mu}^T

  2. ماتریس کوواریانس را حساب کن: C=1nZTZ\mathbf{C} = \frac{1}{n}\mathbf{Z}^T\mathbf{Z}

  3. مقادیر و بردارهای ویژهٔ C\mathbf{C} را حساب کن

  4. مقادیر ویژه را به ترتیب نزولی مرتب کن

  5. rr بردار ویژهٔ اول را به‌عنوان مؤلفه‌های اصلی انتخاب کن

  6. داده را تصویر کن: Z′=ZUr\mathbf{Z}' = \mathbf{Z}\mathbf{U}_r

گردش‌کار PCA: از یک نمونه تا کل ماتریس

تصویر و بازسازی (یک نقطهٔ داده)

گام 1: مرکز کردن با میانگین

  • با بردار دادهٔ خام:
    x=[x1,x2,…,xd]T(original space)\mathbf{x} = [x_1, x_2, \dots, x_d]^T \quad \text{(original space)}

  • بردار میانگین را کم کنید:
    z=x−μ(centered)\mathbf{z} = \mathbf{x} - \mathbf{\mu} \quad \text{(centered)}

    که μ\mathbf{\mu} میانگین همهٔ نمونه‌ها است.

گام 2: تصویر (کاهش بُعد)

  • z\mathbf{z} را روی rr مؤلفهٔ اصلی اول u1,…,ur\mathbf{u}_1, \dots, \mathbf{u}_r تصویر کنید: ai=uiTza_i = \mathbf{u}_i^T \mathbf{z} (اسکالر، تصویر z\mathbf{z} روی ui\mathbf{u}_i)

  • نمایش کاهش‌یافته (در فضای PCA) چنین است: a=[a1,a2,…,ar]T\mathbf{a} = [a_1, a_2, \dots, a_r]^T

گام 3: بازسازی (تقریب)

  • دادهٔ مرکز‌شده را با مؤلفه‌های اصلی بازسازی کنید: z′=∑i=1raiui=a1u1+a2u2+⋯+arur\mathbf{z}' = \sum_{i=1}^r a_i \mathbf{u}_i = a_1 \mathbf{u}_1 + a_2 \mathbf{u}_2 + \dots + a_r \mathbf{u}_r

  • میانگین را برگردانید تا به فضای اصلی برگردید: xrecon=z′+μ\mathbf{x}_{\text{recon}} = \mathbf{z}' + \mathbf{\mu}

تفسیر هندسی

  • بازسازی z′\mathbf{z}' نزدیک‌ترین تقریب z\mathbf{z} با فقط rr جهت است.

  • خطای ∥z−z′∥\|\mathbf{z} - \mathbf{z}'\| از کنار گذاشتن مؤلفه‌های اصلی باقی‌مانده می‌آید.


تعمیم به کل ماتریس داده

گام 1: مرکز کردن با میانگین (شکل ماتریسی)

  • ماتریس دادهٔ اصلی:

    X=[x1∣x2∣…∣xn]T(n×d)\mathbf{X} = [\mathbf{x}_1 | \mathbf{x}_2 | \dots | \mathbf{x}_n]^T \quad \text{($n \times d$)}
  • دادهٔ مرکز‌شده:

    Z=X−1μT\mathbf{Z} = \mathbf{X} - \mathbf{1} \mathbf{\mu}^T

    که 1\mathbf{1} برداری ستونی از یک‌ها است.

گام 2: تصویر (تبدیل PCA)

  • همهٔ نمونه‌ها را روی rr مؤلفهٔ اصلی اول تصویر کنید (Ur=[u1∣…∣ur]\mathbf{U}_r = [\mathbf{u}_1 | \dots | \mathbf{u}_r]):

    A=ZUr(n×r matrix of PCA coordinates)\mathbf{A} = \mathbf{Z} \mathbf{U}_r \quad \text{($n \times r$ matrix of PCA coordinates)}
    • هر سطر A\mathbf{A} نمایش کاهش‌یافتهٔ یک نمونه را دارد.

گام 3: بازسازی (شکل ماتریسی)

  • دادهٔ مرکز‌شده را بازسازی کنید:

    Z′=AUrT=∑i=1raiuiT\mathbf{Z}' = \mathbf{A} \mathbf{U}_r^T = \sum_{i=1}^r \mathbf{a}_i \mathbf{u}_i^T
    • ai\mathbf{a}_i = ستون iiام A\mathbf{A} (امتیازهای مؤلفهٔ اصلی ii).

    • هر جملهٔ aiuiT\mathbf{a}_i \mathbf{u}_i^T ماتریسی رتبه-1 است.

  • برگشت به فضای اصلی:

    Xrecon=Z′+1μT\mathbf{X}_{\text{recon}} = \mathbf{Z}' + \mathbf{1} \mathbf{\mu}^T

پیوند با پیاده‌سازی پایتون

تصویر (کاهش بُعد)

X_transformed = Z @ U_r  # ≡ Z U_r (n × r matrix)

بازسازی

Z_recon = X_transformed @ U_r.T  # ≡ A U_r^T (n × d)
X_recon = Z_recon + mean        # Add back mean

نکته‌های کلیدی

  1. از یک نمونه تا کل ماتریس:

    • با یک بردار تنها شروع کنید تا تصویر/بازسازی را بفهمید.

    • با عملیات ماتریسی به کل مجموعه‌داده تعمیم دهید.

  2. فشرده‌سازی با اتلاف:

    • نگه داشتن فقط r<dr < d مؤلفهٔ اصلی یعنی بازسازی تقریبی است.

    • خطا به مقادیر ویژهٔ کنارگذاشته بستگی دارد.

  3. PCA به‌عنوان دوران:

    • تصویر = چرخاندن داده برای هم‌راستا شدن با جهت‌های بیشترین واریانس.

    • بازسازی = چرخاندن برگشتی، با استفاده از مهم‌ترین جهت‌ها.

هم‌ارزی دو نگاه بهینه‌سازی در PCA و تحلیل خطا (مطالعهٔ بیشتر)

PCA را می‌توان از دو نگاه هم‌ارز استنتاج کرد:

  1. بیشینه‌سازی واریانس: یافتن جهت‌هایی که واریانس تصویرشده را بیشینه می‌کنند.

  2. کمینه‌سازی خطای بازسازی: یافتن جهت‌هایی که میانگین مربع خطای بازسازی را کمینه می‌کنند.

هم‌ارزی آن‌ها را ریاضی اثبات می‌کنیم و خطا را تحلیل می‌کنیم.


1. صورت بیشینه‌سازی واریانس

هدف: یافتن بردار یکهٔ u \mathbf{u} که واریانس دادهٔ تصویرشده را بیشینه کند:

max⁡u1n∑j=1n(uTzj)2subject to∥u∥=1.\max_{\mathbf{u}} \frac{1}{n} \sum_{j=1}^n (\mathbf{u}^T \mathbf{z}_j)^2 \quad \text{subject to} \quad \|\mathbf{u}\| = 1.
  • جواب، بردار ویژهٔ ZTZ \mathbf{Z}^T \mathbf{Z} با بزرگ‌ترین مقدار ویژه است.


2. کمینه‌سازی خطای بازسازی

هدف: یافتن u \mathbf{u} که MSE میان دادهٔ اصلی zj \mathbf{z}_j و بازسازی‌اش zj′=(uTzj)u \mathbf{z}_j' = (\mathbf{u}^T \mathbf{z}_j)\mathbf{u} را کمینه کند:

min⁡u1n∑j=1n∥zj−(uTzj)u∥2subject to∥u∥=1.\min_{\mathbf{u}} \frac{1}{n} \sum_{j=1}^n \|\mathbf{z}_j - (\mathbf{u}^T \mathbf{z}_j)\mathbf{u}\|^2 \quad \text{subject to} \quad \|\mathbf{u}\| = 1.

3. اثبات هم‌ارزی

خطای بازسازی را بسط دهید:

∥zj−(uTzj)u∥2=∥zj∥2−(uTzj)2.\|\mathbf{z}_j - (\mathbf{u}^T \mathbf{z}_j)\mathbf{u}\|^2 = \|\mathbf{z}_j\|^2 - (\mathbf{u}^T \mathbf{z}_j)^2.

پس MSE چنین می‌شود:

MSE=1n∑j=1n∥zj∥2−1n∑j=1n(uTzj)2.\text{MSE} = \frac{1}{n} \sum_{j=1}^n \|\mathbf{z}_j\|^2 - \frac{1}{n} \sum_{j=1}^n (\mathbf{u}^T \mathbf{z}_j)^2.

مشاهدات کلیدی:

  1. جملهٔ 1n∑∥zj∥2 \frac{1}{n} \sum \|\mathbf{z}_j\|^2 ثابت است (واریانس کل داده).

  2. کمینه کردن MSE هم‌ارز بیشینه کردن 1n∑(uTzj)2 \frac{1}{n} \sum (\mathbf{u}^T \mathbf{z}_j)^2 (واریانس تصویرشده) است.


4. تحلیل خطا در PCA

مؤلفه‌های تصویر و باقی‌مانده

برای نقطهٔ دادهٔ zj \mathbf{z}_j (مرکز‌شده) و بازسازی‌اش zj′ \mathbf{z}_j' با r r مؤلفهٔ اصلی:

zj=∑i=1r(uiTzj)ui⏟Reconstruction zj′+∑i=r+1d(uiTzj)ui⏟Error ϵj\mathbf{z}_j = \underbrace{\sum_{i=1}^r (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i}_{\text{Reconstruction } \mathbf{z}_j'} + \underbrace{\sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i}_{\text{Error } \mathbf{\epsilon}_j}
  • بردار خطا: ϵj=zj−zj′=∑i=r+1d(uiTzj)ui \mathbf{\epsilon}_j = \mathbf{z}_j - \mathbf{z}_j' = \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i .


استنتاج میانگین مربع خطا (MSE)

کل MSE روی همهٔ نمونه‌ها چنین است:

MSE=1n∑j=1n∥ϵj∥2=1n∑j=1n∥∑i=r+1d(uiTzj)ui∥2.\text{MSE} = \frac{1}{n} \sum_{j=1}^n \|\mathbf{\epsilon}_j\|^2 = \frac{1}{n} \sum_{j=1}^n \left\| \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i \right\|^2.
∥ϵj∥2=∑i=r+1d(uiTzj)2∥ui∥2⏟=1=∑i=r+1d(uiTzj)2\|\mathbf{\epsilon}_j\|^2 = \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)^2 \underbrace{\|\mathbf{u}_i\|^2}_{=1} = \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)^2
MSE=1n∑j=1n∑i=r+1d(uiTzj)2=∑i=r+1d(1n∑j=1n(uiTzj)2).\text{MSE} = \frac{1}{n} \sum_{j=1}^n \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)^2 = \sum_{i=r+1}^d \left( \frac{1}{n} \sum_{j=1}^n (\mathbf{u}_i^T \mathbf{z}_j)^2 \right).

پیوند با مقادیر ویژه

طبق تعریف، واریانس در راستای ui \mathbf{u}_i چنین است:

λi=1n∑j=1n(uiTzj)2.\lambda_i = \frac{1}{n} \sum_{j=1}^n (\mathbf{u}_i^T \mathbf{z}_j)^2.

پس:

MSE=∑i=r+1dλi.\text{MSE} = \sum_{i=r+1}^d \lambda_i.

5. نتیجه و جمع‌بندی

  • دو صورت هم‌ارز: بیشینه‌سازی واریانس و کمینه‌سازی خطا در PCA هم‌ارزند.

  • تفسیر مقدار ویژه: MSE برابر مجموع مقادیر ویژهٔ کنارگذاشته است، چون:

    • هر λi \lambda_i واریانس در راستای مؤلفهٔ اصلی ui \mathbf{u}_i است.

    • کنار گذاشتن مؤلفه‌های r+1 r+1 تا d d دقیقاً ∑i=r+1dλi \sum_{i=r+1}^d \lambda_i واریانس را از دست می‌دهد.

  • بهینگی: جواب PCA هم‌زمان واریانس حفظ‌شده را بیشینه و خطای بازسازی را کمینه می‌کند.

رابطه‌های کلیدی:

مفهومفرمولتفسیر
تصویرzj′=∑i=1r(uiTzj)ui \mathbf{z}_j' = \sum_{i=1}^r (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i بازسازی با r r مؤلفهٔ اصلی اول
خطاϵj=∑i=r+1d(uiTzj)ui \mathbf{\epsilon}_j = \sum_{i=r+1}^d (\mathbf{u}_i^T \mathbf{z}_j)\mathbf{u}_i باقی‌مانده از مؤلفه‌های کنارگذاشته
MSEMSE=∑i=r+1dλi \text{MSE} = \sum_{i=r+1}^d \lambda_i مجموع واریانس مؤلفه‌های کنارگذاشته

مثال‌ها و کاربردها

مثال مجموعه‌دادهٔ Iris

Source
Original data shape: (150, 4)
Features: ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']

Explained variance ratio:
PC1: 0.925 (92.5%)
PC2: 0.053 (5.3%)
Total: 0.978 (97.8%)
Source
<Figure size 1500x500 with 5 Axes>

تحلیل خطای بازسازی

Source
<Figure size 1000x600 with 1 Axes>
Reconstruction errors:
1 components: MSE = 0.085604
2 components: MSE = 0.025341
3 components: MSE = 0.005919
4 components: MSE = 0.000000

مثال دادهٔ با ابعاد بالا

Source
Generated data shape: (200, 50)
True intrinsic dimensionality: 3

Explained variance by first 10 components:
PC1: 0.420 (cumulative: 0.420)
PC2: 0.342 (cumulative: 0.763)
PC3: 0.234 (cumulative: 0.997)
PC4: 0.000 (cumulative: 0.997)
PC5: 0.000 (cumulative: 0.997)
PC6: 0.000 (cumulative: 0.997)
PC7: 0.000 (cumulative: 0.997)
PC8: 0.000 (cumulative: 0.998)
PC9: 0.000 (cumulative: 0.998)
PC10: 0.000 (cumulative: 0.998)
Source
<Figure size 1200x500 with 2 Axes>

Number of components needed for 95% variance: 3
This is close to the true intrinsic dimensionality of 3

مقایسه با Scikit-learn

Source
Comparison of implementations:
Our explained variance ratio: [0.92461872 0.05306648]
Sklearn explained variance ratio: [0.92461872 0.05306648]

Mean absolute difference in transformed data: 0.0000000000
<Figure size 1200x500 with 2 Axes>

بخشی از مقاله‌های پیشین من دربارهٔ PCA هستند، از جمله Amintoosi & Farbiz (2022)Fathy et al. (2008)Amintoosi et al. (2007)Amintoosi & Poursadeghi (1394)

جمع‌بندی

این درس‌نامه پوشش داد:

  1. مبانی جبر خطی: عملیات برداری، نُرم‌ها و زاویه‌ها

  2. تصویر بردارها: بنیاد ریاضی کاهش بُعد

  3. تبدیل پایه: چگونه داده را در دستگاه‌های مختصات مختلف نمایش دهیم

  4. نظریهٔ PCA: بیشینه‌سازی واریانس و تجزیهٔ مقادیر ویژه

  5. پیاده‌سازی: الگوریتم گام‌به‌گام PCA از صفر

  6. کاربردها: مثال‌های واقعی با مجموعه‌دادهٔ Iris و دادهٔ با ابعاد بالا

نکته‌های کلیدی:

  • PCA جهت‌های بیشترین واریانس در داده را می‌یابد

  • مؤلفه‌های اصلی بردارهای ویژهٔ ماتریس کوواریانس‌اند

  • مقادیر ویژه مقدار واریانس گرفته‌شده توسط هر مؤلفه را نشان می‌دهند

  • PCA از نظر خطای بازسازی، کاهش بُعد خطی بهینه می‌دهد

  • تعداد مؤلفه‌ها را می‌توان بر پایهٔ آستانهٔ واریانس توضیح‌داده‌شدهٔ مطلوب برگزید

تمرین‌ها

  1. ماتریس تصویر روی پوشش یک بردار یکهٔ uu را استنتاج کنید و نشان دهید متقارن و خودتوان است.

  2. نشان دهید پس از تغییر پایه با یک QQ متعامد، ماتریس کوواریانس Q⊤ΣQQ^\top\Sigma Q می‌شود، و توضیح دهید چرا این پایهٔ ویژه را خاص می‌کند.

  3. PCA را با بیشینه کردن w⊤Σww^\top\Sigma w با قید ∥w∥=1\|w\|=1 استنتاج کنید و ضریب لاگرانژ را با واریانس حفظ‌شده شناسایی کنید.

References
  1. Amintoosi, M., & Farbiz, F. (2022). Eigenbackground Revisited: Can We Model the Background with Eigenvectors? Journal of Mathematical Imaging and Vision, 64(5), 463–477.
  2. Fathy, M., Mozayani, N., & Amintoosi, M. (2008). Outlier Removal for Super-Resolution Problem Using QR-Decomposition. Proceedings of the International Conference on Image Processing, Computer Vision, and Pattern Recognition, 271–277. http://webpages.iust.ac.ir/mamintoosi/papers/IPCV08.pdf
  3. Amintoosi, M., Farbiz, F., & Fathy, M. (2007). A QR Decomposition Based Mixture Model Algorithm for Background Modeling. ICICS2007, Sixth International Conference on Information, Communication and Signal Processing, 1–5.
  4. Amintoosi, M., & Poursadeghi, S. (1394, February). Increasing the Speed of Video Background Subtraction by Incremental QR Decomposition. 8th National Seminar on Linear Algebra and Its Applications.