Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

مقایسهٔ LDA و PCA

محمود امین‌طوسی، پاییز ۱۴۰۵

گروه علوم کامپیوتر، دانشگاه فردوسی مشهد

English · فارسی
  • تصویر دوبعدی مجموعه‌دادهٔ Iris

مجموعه‌دادهٔ Iris سه نوع گل زنبق (Setosa، Versicolour و Virginica) با 4 ویژگی نشان می‌دهد: طول کاسبرگ، عرض کاسبرگ، طول گلبرگ و عرض گلبرگ.

تحلیل مؤلفه‌های اصلی (PCA) روی این داده ترکیب ویژگی‌ها (مؤلفه‌های اصلی، یا جهت‌هایی در فضای ویژگی) را می‌یابد که بیشترین واریانس داده را توضیح می‌دهند. اینجا نمونه‌های مختلف را روی دو مؤلفهٔ اصلی اول رسم می‌کنیم.

تحلیل تفکیک‌گر خطی (LDA) می‌کوشد ویژگی‌هایی را بیابد که بیشترین واریانس میان دسته‌ها را توضیح می‌دهند. به‌ویژه، LDA برخلاف PCA روشی با نظارت است و از برچسب‌های شناخته‌شدهٔ دسته استفاده می‌کند.

explained variance ratio (first two components): [0.92461872 0.05306648]
<Figure size 640x480 with 1 Axes>
<Figure size 640x480 with 1 Axes>

از تصویر به عدد

این دو نمودار پراکندگی قانع‌کننده به نظر می‌رسند، ولی «دسته‌ها جدا به نظر می‌رسند» یک اندازه‌گیری نیست. اینجا سه دسته‌بند را روی همان دادهٔ Iris و همان تقسیم‌ها مقایسه می‌کنیم:

  1. رگرسیون لجستیک روی چهار ویژگی خام؛

  2. PCA به دو مؤلفه و بعد رگرسیون لجستیک؛

  3. LDA به‌عنوان دسته‌بند — هم‌زمان بُعد را کم و دسته‌بندی می‌کند.

دو عادت این مقایسه را صادق می‌کند:

  • پیش از تصویر کردن، استاندارد کن. PCA با واریانس رانده می‌شود، پس ویژگی‌ای که پراکندگی عددی بزرگ‌تری دارد بر مؤلفه‌ها غلبه می‌کند. LDA هم مقیاس‌های قابل مقایسه فرض می‌کند.

  • تصویر را درون حلقهٔ اعتبارسنجی متقاطع برازش کن. تصویر کردن کل مجموعه‌داده یک بار و بعد اعتبارسنجی متقاطع دسته‌بند، ساختار واریانس تای آزمون را به آموزش نشت می‌دهد. Pipeline مقیاس‌کننده و تصویر را در هر تای دوباره برازش می‌دهد.

logistic regression, 4 raw features        accuracy = 0.953 +/- 0.043
standardize + PCA(2) + logistic            accuracy = 0.913 +/- 0.060
standardize + LDA                          accuracy = 0.980 +/- 0.031

اینجا LDA برنده است و دلیلش ساختاری است نه تصادفی: LDA برچسب‌ها را می‌داند و جهتی را برمی‌گزیند که پراکندگی میان‌دسته‌ای را نسبت به پراکندگی درون‌دسته‌ای بیشینه می‌کند. PCA هیچ چیزی از دسته‌ها نمی‌داند؛ جهت‌های بزرگ‌ترین واریانس کل را نگه می‌دارد و بخشی از آن واریانس، پراکندگی درون هر دسته است.

این PCA را بدتر نمی‌کند — بی‌نظارت بودنش را نشان می‌دهد. وقتی برچسب‌ها نیستند، یا هدف فشرده‌سازی است نه جداسازی، PCA ابزار کار است.

PCA on standardized features, cumulative explained variance: 0.9581
PCA on raw features (the first figure above):                0.9777
LDA, cumulative explained variance (2 components):           1.0
asking for 3 LDA components fails as expected: n_components cannot be larger than min(n_features, n_classes - 1).

یک جهت، دو معیار

کاهش به یک بُعد تفاوت این دو معیار را روشن‌ترین شکل نشان می‌دهد.

  • PCA جهت بیشینهٔ واریانس را می‌گیرد، max⁡ww⊤Sw\max_w w^\top S w که SS پراکندگی کل است. هیچ چیزی در این تابع هدف به دسته‌ها اشاره نمی‌کند.

  • LDA جهتی را می‌گیرد که نسبت پراکندگی میان‌دسته‌ای به درون‌دسته‌ای را بیشینه می‌کند،

J(w)=w⊤SBww⊤SWw,J(w) = \frac{w^\top S_B w}{w^\top S_W w},

که همان معیار فیشر است. یک جهت می‌تواند واریانس کل زیادی داشته باشد و با این حال برای دسته‌بندی بی‌فایده باشد، اگر آن واریانس پراکندگی درون هر دسته باشد.

دو پنل زیر همان دادهٔ استانداردشده را به یک بُعد تصویر می‌کنند و SB/SWS_B/S_W را گزارش می‌کنند — بزرگ‌تر یعنی بهتر جدا شده. بافت‌نگارهای هم‌پوشان یعنی ابهام، هرچه دقت دسته‌بند حاصل باشد.

<Figure size 1100x360 with 2 Axes>
rows = true, columns = predicted, order: ['setosa', 'versicolor', 'virginica']
[[50  0  0]
 [ 0 48  2]
 [ 0  1 49]]
recall(setosa      ) = 1.000
recall(versicolor  ) = 0.960
recall(virginica   ) = 0.980

PCA یا LDA؟

PCALDA
به برچسب نیاز داردنهبله
معیاربیشینه کردن واریانس کلبیشینه کردن SB/SWS_B / S_W
بیشترین تعداد مؤلفهmin⁡(n,d)\min(n, d)C−1C - 1
می‌تواند داده را بازسازی کندبلهنه
کاربرد معمولفشرده‌سازی، تجسم، نوفه‌زداییکاهش بُعد با نظارت، تجسم، دسته‌بند ارزان
حساس به مقیاس ویژگیبلهبله

LDA خطای بازسازی‌ای برای کمینه کردن ندارد: جهت‌هایش برای جداسازی انتخاب می‌شوند، نه برای نمایندگی داده، پس نمی‌توانید از LDA برای فشرده‌سازی یا نوفه‌زدایی استفاده کنید. برعکس، PCA به‌آسانی می‌تواند جهتی را نگه دارد که دسته‌ها را در هم می‌آمیزد؛ همین دلیل است که پنل PCA دو مؤلفه لازم داشت تا قانع‌کننده به نظر برسد، در حالی که LDA در یک بُعد هم خوب جدا می‌کرد.

سه نکته از این نوتبوک

  1. با نظارت بودن یا نبودن خط جداکننده است: PCA واریانس را بیشینه می‌کند، LDA جداسازی را.

  2. LDA حداکثر C−1C-1 مؤلفه دارد. با سه دسته، ممیز سومی وجود ندارد.

  3. استاندارد کن و درون حلقهٔ CV برازش بده. تصویر بخشی از مدل است، نه بخشی از داده. در پروژه، همین اشتباه — حساب کردن یک تصویر (یا یک آمارهٔ پنجره‌ای) روی همهٔ داده پیش از تقسیم — رایج‌ترین راه رسیدن به امتیازی زیبا و بی‌معنا است.