Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

فاصلهٔ ماهالانوبیس

محمود امین‌طوسی، پاییز ۱۴۰۵

گروه علوم کامپیوتر، دانشگاه فردوسی مشهد

مطالب کوواریانس از فصل 2 کتاب Pattern Classification نوشتهٔ دودا، هارت و استورک (Duda et al. (2000)) پیروی می‌کند و از نشانه‌گذاری همان کتاب استفاده می‌کنیم؛ توضیح‌های هندسی از Vision Dummy و از نوشتهٔ SAS دربارهٔ فاصلهٔ ماهالانوبیس برگرفته شده‌اند.

هدف‌های یادگیری. در پایان باید بتوانید

  1. بگویید چرا فاصلهٔ اقلیدسی وقتی ویژگی‌ها واحدهای مختلف دارند یا همبسته‌اند شکست می‌خورد؛

  2. ماتریس کوواریانس و مقادیر و بردارهای ویژهٔ آن را به‌عنوان شکل و جهت‌گیری بخوانید؛

  3. اثبات کنید Cov⁡(W⊤(x−μ))=W⊤ΣW\operatorname{Cov}(W^{\top}(\mathbf{x}-\boldsymbol{\mu})) = W^{\top}\boldsymbol{\Sigma}W؛

  4. ماتریس سفیدسازی W=ΦΛ−1/2W = \Phi\Lambda^{-1/2} را بسازید و نشان دهید سفیدسازی فاصلهٔ ماهالانوبیس را به اقلیدسی تبدیل می‌کند؛

  5. فاصله‌های ماهالانوبیس و مختصات سفیدشده را با NumPy حساب کنید؛

  6. استانداردسازی، PCA و سفیدسازی را از هم تشخیص دهید؛

  7. فاصلهٔ ماهالانوبیس را در ممیز گاوسی نظریهٔ تصمیم بیزی جای دهید.

English · فارسی
English · فارسی

1. چرا به فاصلهٔ ماهالانوبیس نیاز داریم؟

در بیشتر کاربردها داده چندمتغیره است، ویژگی‌ها همبسته‌اند و با مقیاس‌های مختلف اندازه‌گیری شده‌اند. فاصلهٔ اقلیدسی (∥x−y∥2\|\mathbf{x}-\mathbf{y}\|_2) خلاف این را فرض می‌کند: ویژگی‌های ناهمبسته با واریانس یکسان. اگر یک ویژگی بر حسب متر و دیگری بر حسب کیلومتر باشد، دومی فقط به‌خاطر اندازهٔ عددی‌اش بر جمع غلبه می‌کند. اگر ویژگی‌ها همبسته باشند، ابر نقطه‌ها بیضی‌گون است نه کره‌گون، و فاصلهٔ اقلیدسی جهت‌گیری آن بیضی را نادیده می‌گیرد — و نتیجه‌های گمراه‌کننده در دسته‌بندی و خوشه‌بندی می‌آید.

فاصلهٔ ماهالانوبیس فاصلهٔ میان یک نقطه و یک توزیع را می‌سنجد، نرمال‌شده با واریانس هر ویژگی و با همبستگی‌های میان آن‌ها.

مثال توضیحی: اقلیدسی در برابر ماهالانوبیس

یک گاوسی دوبعدی با همبستگی بالا، و دو نقطه در فاصلهٔ اقلیدسی یکسان از مرکزش، یکی در جهت واریانس بزرگ و یکی عمود بر آن:

Source
<Figure size 1000x800 with 1 Axes>

مشاهده: نقطهٔ 1 و نقطهٔ 2 فاصلهٔ اقلیدسی یکسانی از مرکز دارند، ولی در «ناحیه‌های احتمال» مختلفی قرار می‌گیرند. نقطهٔ 2 در جهتی با واریانس کمتر (عمود بر همبستگی اصلی) است و از نظر آماری کمتر محتمل (دورتر در فاصلهٔ ماهالانوبیس) از نقطهٔ 1 است.


2. مقیاس ویژگی: یک مطالعهٔ موردی

داده‌ها

سه موشک بالستیک که با دو ویژگی توصیف می‌شوند: برد و سرعت.

موشکبرد (کیلومتر)سرعت (ماخ)
A. خیبرشکن (هدف)1,4505
B. سجیل2,00010
C. فاتح1,40014

کدام‌یک از B و C به A شبیه‌تر است؟

فاصلهٔ اقلیدسی خام

  • خیبر در برابر سجیل (B): Δrange=550\Delta\text{range} = 550 کیلومتر و Δspeed=5\Delta\text{speed} = 5 ماخ، پس Draw=5502+52=550.02D_{\text{raw}} = \sqrt{550^2 + 5^2} = 550.02.

  • خیبر در برابر فاتح (C): Δrange=50\Delta\text{range} = 50 کیلومتر و Δspeed=9\Delta\text{speed} = 9 ماخ، پس Draw=502+92=50.80D_{\text{raw}} = \sqrt{50^2 + 9^2} = 50.80.

فاتح ده برابر نزدیک‌تر به نظر می‌رسد. دلیلش حساب است نه شباهت: ستون برد مقدارهایی در هزاران دارد، پس 50 کیلومتر در برابر 5 یا 9 در ستون سرعت عدد کوچکی است. ویژگی‌ای با گسترهٔ عددی بزرگ‌تر جواب را تعیین می‌کند.

فاصلهٔ استانداردشده

هر ویژگی را بر انحراف معیارش تقسیم کنید، z=(x−μ)/σz = (x-\mu)/\sigma، تا هر دو برحسب انحراف معیار سنجیده شوند. برای سه موشک

  • برد: μ=1616.7\mu = 1616.7 کیلومتر، σ\sigma جامعه ≈271.8\approx 271.8 کیلومتر (ss نمونه ≈332.9\approx 332.9 کیلومتر)؛

  • سرعت: μ=9.67\mu = 9.67 ماخ، σ\sigma جامعه ≈3.68\approx 3.68 ماخ (ss نمونه ≈4.51\approx 4.51 ماخ).

StandardScaler بر انحراف معیار جامعه تقسیم می‌کند، بر NN و نه N−1N-1، و همین دلیل است که فاصله‌های زیر از 271.8 و 3.68 استفاده می‌کنند در حالی که pandas عددهای 332.9 و 4.51 را چاپ می‌کند. در واحد z، نقطهٔ A برابر (−0.61,−1.27)(-0.61, -1.27)، B برابر (1.41,0.09)(1.41, 0.09) و C برابر (−0.80,1.18)(-0.80, 1.18) است، پس

  • خیبر در برابر سجیل: Dscaled=2.022+1.362=2.44D_{\text{scaled}} = \sqrt{2.02^2 + 1.36^2} = 2.44؛

  • خیبر در برابر فاتح: Dscaled=0.182+2.442=2.45D_{\text{scaled}} = \sqrt{0.18^2 + 2.44^2} = 2.45.

مقایسهفاصلهٔ خامفاصلهٔ استانداردشده
خیبر در برابر سجیل550.022.44
خیبر در برابر فاتح50.802.45

جواب برمی‌گردد، با اختلافی موی‌باریک: پس از استانداردسازی سجیل همسایهٔ نزدیک‌تر است.

کدام جواب درست است؟

هیچ‌کدام. استانداردسازی می‌گوید دو ویژگی وزن یکسان می‌ارزند؛ فاصلهٔ خام می‌گوید یک کیلومتر به‌قدر یک ماخ می‌ارزد. هر دو فرض‌هایی دربارهٔ مسئله‌اند، نه واقعیت‌هایی دربارهٔ موشک‌ها، و مثال چنان ساخته شده که با هم اختلاف داشته باشند. درسی که باید نگه داشت همین است: در هر روشی بر پایهٔ فاصلهٔ اقلیدسی — k-NN، k-means، لایهٔ ورودی شبکه — مقیاس بخشی از مدل است و باید انتخاب شود، نه از واحدهایی که داده اتفاقاً با آن‌ها ذخیره شده به ارث برسد.

کد

سلول بعد حساب را انجام می‌دهد: فاصله‌های خام، بعد StandardScaler، بعد همان فاصلهٔ اقلیدسی روی ستون‌های استانداردشده.


Source
=== RAW EUCLIDEAN DISTANCE (Unscaled) ===
Distance to Sejjil: 550.02
Distance to Fatāh: 50.80

=== SCALED EUCLIDEAN DISTANCE (Normalized) ===
Distance to Sejjil: 2.44
Distance to Fatāh: 2.45

--- ANALYSIS ---
Winner with raw distances: Fatāh
Winner after standardization: Sejjil

--- DATASET STATISTICS ---
Range Std Dev: 332.92 km
Speed Std Dev: 4.51 Mach

دو آمارهٔ چاپ‌شده مخرج‌های مختلف دارند: df.std() انحراف معیار نمونه (N−1N-1) است در حالی که StandardScaler از نسخهٔ جامعه (NN) استفاده می‌کند. هر دو معقول‌اند؛ فاصله‌های بالا از نسخهٔ جامعه می‌آیند.

3. ماتریس کوواریانس

ماتریس کوواریانس ماتریسی مربعی است که واریانس‌ها و کوواریانس‌های مجموعه‌ای از متغیرهای تصادفی را خلاصه می‌کند. برای مجموعه‌داده‌ای با dd ویژگی، ماتریس کوواریانس Σ\boldsymbol{\Sigma} ماتریسی d×dd \times d است که چنین تعریف می‌شود:

Σ=[σ11σ12⋯σ1dσ21σ22⋯σ2d⋮⋮⋱⋮σd1σd2⋯σdd]\boldsymbol{\Sigma} = \begin{bmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1d} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2d} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{d1} & \sigma_{d2} & \cdots & \sigma_{dd} \end{bmatrix}

که:

  • σii=Var⁡(xi)\sigma_{ii} = \operatorname{Var}(x_i): واریانس ویژگی iiام (درایه‌های قطری).

  • σij=Cov⁡(xi,xj)\sigma_{ij} = \operatorname{Cov}(x_i, x_j): کوواریانس میان ویژگی‌های ii و jj (درایه‌های غیرقطری).

ویژگی‌ها:

  1. متقارن: σij=σji\sigma_{ij} = \sigma_{ji}، پس Σ=Σ⊤\boldsymbol{\Sigma} = \boldsymbol{\Sigma}^{\top}.

  2. مثبت نیمه‌معین: همهٔ مقادیر ویژه نامنفی‌اند (λi≥0\lambda_i \geq 0).


4. تفسیر هندسی ماتریس کوواریانس

ماتریس کوواریانس شکل و جهت‌گیری توزیع داده در فضای ویژگی را تعریف می‌کند.

  1. بردارهای ویژه (جهت‌ها): بردارهای ویژهٔ Σ\boldsymbol{\Sigma} محورهای اصلی توزیع داده را نشان می‌دهند. جهت‌های بیشترین واریانس را مشخص می‌کنند.

  2. مقادیر ویژه (اندازه‌ها): مقادیر ویژهٔ متناظر اندازهٔ واریانس در این جهت‌های بردار ویژه را نشان می‌دهند.

  3. بیضی‌گون: در دو بُعد، ماتریس کوواریانس بیضی را تعریف می‌کند. در dd بُعد، ابربیضی را تعریف می‌کند. محورهای این بیضی با بردارهای ویژه هم‌راستا هستند و طول محورها متناسب با جذر مقادیر ویژه است.


5. تبدیل‌های خطی و کوواریانس

برای فهم کامل فاصلهٔ ماهالانوبیس و سفیدسازی، باید بفهمیم کوواریانس زیر تبدیل‌های خطی چگونه تغییر می‌کند. قضیهٔ زیر بنیاد ریاضی تبدیل داده به فضای «سفیدشده» را می‌دهد.

قضیهٔ 1 (ویژگی تبدیل کوواریانس)

x∈Rd\mathbf{x} \in \mathbb{R}^d برداری تصادفی با میانگین μ=E[x]\boldsymbol{\mu} = \mathbb{E}[\mathbf{x}] و ماتریس کوواریانس Σ=Cov⁡(x)\boldsymbol{\Sigma} = \operatorname{Cov}(\mathbf{x}) باشد. W∈Rd×dW \in \mathbb{R}^{d \times d} ماتریس تبدیلی ثابت باشد. برای بردار تصادفی تبدیل‌شده y=W ⁣⊤(x−μ)\mathbf{y} = W^{\!\top}(\mathbf{x} - \boldsymbol{\mu})، ماتریس کوواریانس y\mathbf{y} چنین است

Cov⁡(y)=W ⁣⊤ΣW\boxed{\operatorname{Cov}(\mathbf{y}) = W^{\!\top}\boldsymbol{\Sigma}W}

اثبات: با اعمال تعریف کوواریانس و خطی‌بودن امید ریاضی پیش می‌رویم.

  1. میانگین y\mathbf{y}: نخست توجه کنید میانگین بردار مرکزشده صفر است:

    E[y]=E[W ⁣⊤(x−μ)]=W ⁣⊤(E[x]−μ)=W ⁣⊤(μ−μ)=0.\begin{aligned} \mathbb{E}[\mathbf{y}] &= \mathbb{E}\bigl[W^{\!\top}(\mathbf{x} - \boldsymbol{\mu})\bigr] \\ &= W^{\!\top}\bigl(\mathbb{E}[\mathbf{x}] - \boldsymbol{\mu}\bigr) \\ &= W^{\!\top}(\boldsymbol{\mu} - \boldsymbol{\mu}) \\ &= \mathbf{0}. \end{aligned}
  2. کوواریانس y\mathbf{y}:

    Cov(y)=E[(y−E[y])(y−E[y])T]\text{Cov}(\mathbf{y}) = \mathbb{E}[(\mathbf{y} - \mathbb{E}[\mathbf{y}])(\mathbf{y} - \mathbb{E}[\mathbf{y}])^T]

    چون E[y]=0\mathbb{E}[\mathbf{y}] = \mathbf{0}، تعریف کوواریانس به Cov⁡(y)=E[yy ⁣⊤]\operatorname{Cov}(\mathbf{y}) = \mathbb{E}[\mathbf{y}\mathbf{y}^{\!\top}] ساده می‌شود.

    Cov⁡(y)=E[y y ⁣⊤]=E[W ⁣⊤(x−μ) (x−μ) ⁣⊤W].\begin{aligned} \operatorname{Cov}(\mathbf{y}) &= \mathbb{E}\bigl[\mathbf{y}\,\mathbf{y}^{\!\top}\bigr] \\ &= \mathbb{E}\Big[W^{\!\top}(\mathbf{x}-\boldsymbol{\mu})\,(\mathbf{x}-\boldsymbol{\mu})^{\!\top}W\Big]. \end{aligned}

    با خطی‌بودن عملگر امید ریاضی، ماتریس‌های ثابت W ⁣⊤W^{\!\top} و WW را می‌توان از امید ریاضی بیرون کشید:

    Cov⁡(y)=W ⁣⊤  E[(x−μ)(x−μ) ⁣⊤]  W.\begin{aligned} \operatorname{Cov}(\mathbf{y}) &= W^{\!\top}\;\mathbb{E}\Big[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\!\top}\Big]\;W. \end{aligned}

    با شناختن اینکه عبارت درون امید ریاضی دقیقاً تعریف Cov⁡(x)=Σ\operatorname{Cov}(\mathbf{x}) = \boldsymbol{\Sigma} است:

    Cov⁡(y)=W ⁣⊤ΣW.□\operatorname{Cov}(\mathbf{y}) = W^{\!\top}\boldsymbol{\Sigma}W. \quad \square

نکته (کاربرد سفیدسازی): این ویژگی بنیاد سفیدسازی است. با برگزیدن WW چنان که W ⁣⊤ΣW=IW^{\!\top}\boldsymbol{\Sigma}W = \mathbf{I}، داده را به فضایی می‌بریم که ویژگی‌ها ناهمبسته‌اند و واریانس واحد دارند. بخش 6 همین WW را از تجزیهٔ مقدار ویژهٔ Σ\boldsymbol{\Sigma} می‌سازد.

6. تبدیل سفیدسازی

سفیدسازی گام پیش‌پردازشی است که ماتریس کوواریانس را به همانی تبدیل می‌کند. ویژگی‌های تبدیل‌شده آن‌گاه ناهمبسته‌اند و واریانس واحد دارند.

شکل 2.8 دودا

شکل 2.8 Duda et al. (2000): تبدیل خطی فضای ویژگی، یک توزیع نرمال دلخواه را به توزیع نرمال دیگری می‌برد.

ماتریسی WW می‌خواهیم چنان که y=W⊤(x−μ)\mathbf{y} = W^{\top}(\mathbf{x} - \boldsymbol{\mu}) کوواریانس I\mathbf{I} داشته باشد. بخش 5 می‌دهد Cov⁡(y)=W⊤ΣW\operatorname{Cov}(\mathbf{y}) = W^{\top}\boldsymbol{\Sigma}W، و تجزیهٔ مقدار ویژهٔ بخش 4، Σ=ΦΛΦ⊤\boldsymbol{\Sigma} = \Phi\Lambda\Phi^{\top}، مقدار W=ΦΛ−1/2W = \Phi\Lambda^{-1/2} را می‌دهد. بررسی‌اش:

Cov⁡(y)=(ΦΛ−1/2)⊤Σ(ΦΛ−1/2)=Λ−1/2Φ⊤(ΦΛΦ⊤)ΦΛ−1/2=Λ−1/2ΛΛ−1/2=I.\begin{aligned} \operatorname{Cov}(\mathbf{y}) &= (\Phi \Lambda^{-1/2})^{\top} \boldsymbol{\Sigma} (\Phi \Lambda^{-1/2}) \\ &= \Lambda^{-1/2} \Phi^{\top} (\Phi \Lambda \Phi^{\top}) \Phi \Lambda^{-1/2} \\ &= \Lambda^{-1/2} \Lambda \Lambda^{-1/2} = \mathbf{I}. \end{aligned}

تفسیر هندسی

  1. دوران (Φ⊤\Phi^{\top}) داده را با محورهای اصلی هم‌راستا می‌کند و همبستگی‌ها را برمی‌دارد.

  2. مقیاس‌بندی (Λ−1/2\Lambda^{-1/2}) هر محور را کش می‌آورد یا فشرده می‌کند تا واریانسش 1 شود.

ابر نقطه‌ها کره می‌شود. در این فضا فاصلهٔ اقلیدسی همان فاصلهٔ ماهالانوبیس فضای اصلی است — بخش 7 این اتحاد را اثبات می‌کند و کد زیر آن را عددی نشان می‌دهد.

همان دو نقطه، سفیدشده

کد ابر همبسته و دو نقطهٔ ستاره‌دار بخش 1 را می‌گیرد، W=ΦΛ−1/2W = \Phi\Lambda^{-1/2} را اعمال می‌کند و داده را قبل و بعد رسم می‌کند. در چپ دو نقطه در فاصلهٔ اقلیدسی یکسان از مرکزند؛ در راست فاصله‌های اقلیدسی‌شان همان فاصله‌های ماهالانوبیس در فضای اصلی‌اند.

Source
<Figure size 1200x600 with 2 Axes>

هر دو نقطه در معنای اقلیدسی اصلی 2.12 از مرکز دورند. فاصله‌های ماهالانوبیس‌شان 1.58 برای نقطهٔ روی محور اصلی و 4.74 برای نقطهٔ عمود بر آن است؛ پس از سفیدسازی فاصله‌های اقلیدسی دقیقاً همان دو عددند، با همان ترتیب. دایرهٔ شعاع ثابت در پنل راست، در پنل چپ بیضی فاصلهٔ ماهالانوبیس ثابت است.

7. فاصلهٔ ماهالانوبیس

در بخش 6 تبدیل را ثابت گرفتیم و پرسیدیم چه کوواریانسی تولید می‌کند. اینجا پرسش وارون را می‌پرسیم: کدام نُرم روی مختصات تبدیل‌شده فاصلهٔ ماهالانوبیس فضای اصلی را بازتولید می‌کند؟

فاصلهٔ ماهالانوبیس سنجهٔ فاصلهٔ میان نقطهٔ x\mathbf{x} و توزیعی با میانگین μ\boldsymbol{\mu} و ماتریس کوواریانس Σ\mathbf{\Sigma} است. چنین تعریف می‌شود:

DM(x,μ)=(x−μ)TΣ−1(x−μ)D_M(\mathbf{x}, \boldsymbol{\mu}) = \sqrt{(\mathbf{x} - \boldsymbol{\mu})^T \mathbf{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})}

این فاصله در بسیاری از روش‌های آماری چندمتغیره، از جمله نظریهٔ تصمیم بیزی برای دسته‌بندی، مرکزی است، چون ساختار زیربنایی (واریانس‌ها و همبستگی‌های) داده را در نظر می‌گیرد.

نکتهٔ کلیدی

فرمول تبدیل کوواریانس از بخش 5 بنیاد ریاضی اصلی هم برای تبدیل سفیدسازی و هم برای فاصلهٔ ماهالانوبیس است.

فاصلهٔ ماهالانوبیس را یادآوری کنید:

DM(x)=(x−μ)TΣ−1(x−μ)D_M(\mathbf{x}) = \sqrt{(\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})}

حالا فضای سفیدشده را در نظر بگیرید: اگر y=W ⁣⊤(x−μ)\mathbf{y} = W^{\!\top}(\mathbf{x}-\boldsymbol{\mu}) تعریف کنیم که در آن WW باعث Cov⁡(y)=I\operatorname{Cov}(\mathbf{y}) = \mathbf{I} می‌شود، آن‌گاه:

∥y∥2=yTy=(x−μ)TWW ⁣⊤(x−μ)\|\mathbf{y}\|_2 = \sqrt{\mathbf{y}^T \mathbf{y}} = \sqrt{(\mathbf{x} - \boldsymbol{\mu})^T W W^{\!\top} (\mathbf{x} - \boldsymbol{\mu})}

برای اینکه این با فاصلهٔ ماهالانوبیس برابر شود باید نشان دهیم WW ⁣⊤=Σ−1 W W^{\!\top} = \boldsymbol{\Sigma}^{-1} .

اثبات:

داده شده: Σ=ΦΛΦ⊤ \boldsymbol{\Sigma} = \Phi \Lambda \Phi^{\top} و W=ΦΛ−1/2 W = \Phi \Lambda^{-1/2}

هدف: نشان دادن WW ⁣⊤=Σ−1W W^{\!\top} = \boldsymbol{\Sigma}^{-1}

گام 1: حساب کردن WW ⁣⊤ W W^{\!\top}

W=ΦΛ−1/2 W = \Phi \Lambda^{-1/2} را جای‌گذاری کنید:

WW ⁣⊤=(ΦΛ−1/2)(ΦΛ−1/2) ⁣⊤W W^{\!\top} = (\Phi \Lambda^{-1/2}) (\Phi \Lambda^{-1/2})^{\!\top}

حالا عامل دوم را ترانهاده کنید:

(ΦΛ−1/2) ⁣⊤=(Λ−1/2) ⁣⊤Φ ⁣⊤(\Phi \Lambda^{-1/2})^{\!\top} = (\Lambda^{-1/2})^{\!\top} \Phi^{\!\top}

چون Λ \Lambda ماتریسی قطری با مقادیر ویژهٔ مثبت است (یعنی وارون‌پذیر)، Λ−1/2 \Lambda^{-1/2} هم قطری و متقارن است، پس:

(Λ−1/2) ⁣⊤=Λ−1/2(\Lambda^{-1/2})^{\!\top} = \Lambda^{-1/2}

بنابراین،

WW ⁣⊤=ΦΛ−1/2(Λ−1/2)Φ ⁣⊤=Φ(Λ−1/2⋅Λ−1/2)Φ ⁣⊤=ΦΛ−1Φ ⁣⊤W W^{\!\top} = \Phi \Lambda^{-1/2} (\Lambda^{-1/2}) \Phi^{\!\top} = \Phi (\Lambda^{-1/2} \cdot \Lambda^{-1/2}) \Phi^{\!\top} = \Phi \Lambda^{-1} \Phi^{\!\top}

گام 2: حساب کردن Σ−1 \boldsymbol{\Sigma}^{-1} با وارون ماتریس قطری‌شده

داده شده:

Σ=ΦΛΦ ⁣⊤\boldsymbol{\Sigma} = \Phi \Lambda \Phi^{\!\top}

چون Φ \Phi ماتریسی متعامد است (یعنی Φ ⁣⊤Φ=I \Phi^{\!\top} \Phi = I )، می‌دانیم:

(ΦΛΦ ⁣⊤)−1=(Φ ⁣⊤)−1Λ−1Φ−1(\Phi \Lambda \Phi^{\!\top})^{-1} = (\Phi^{\!\top})^{-1} \Lambda^{-1} \Phi^{-1}

چون Φ \Phi متعامد است:

  • Φ−1=Φ ⁣⊤ \Phi^{-1} = \Phi^{\!\top}

  • پس (Φ ⁣⊤)−1=Φ (\Phi^{\!\top})^{-1} = \Phi

بنابراین،

(ΦΛΦ ⁣⊤)−1=ΦΛ−1Φ ⁣⊤(\Phi \Lambda \Phi^{\!\top})^{-1} = \Phi \Lambda^{-1} \Phi^{\!\top}

نشان دادیم که:

WW ⁣⊤=Σ−1\boxed{W W^{\!\top} = \boldsymbol{\Sigma}^{-1}}

نکتهٔ کلیدی: متعامد بودن Φ \Phi به ما اجازه می‌دهد وارون ΦΛΦ ⁣⊤ \Phi \Lambda \Phi^{\!\top} را زیبا ساده کنیم، و همین برای برقراری نتیجه ضروری است.

رابطهٔ کلیدی

مفهومبیان ریاضیهدف
تبدیل کوواریانسCov⁡(y)=W ⁣⊤ΣW\operatorname{Cov}(\mathbf{y}) = W^{\!\top}\boldsymbol{\Sigma}Wنشان می‌دهد کوواریانس زیر تبدیل خطی چگونه تغییر می‌کند
ماتریس سفیدسازیW=ΦΛ−1/2W = \Phi \Lambda^{-1/2}داده را به کوواریانس واحد می‌برد
فاصلهٔ ماهالانوبیسDM=(x−μ)TΣ−1(x−μ)D_M = \sqrt{(\mathbf{x}-\boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})}فاصلهٔ در نظرگیرندهٔ ساختار کوواریانس
فاصلهٔ اقلیدسی (سفیدشده)∣y∣2=yTy|\mathbf{y}|_2 = \sqrt{\mathbf{y}^T\mathbf{y}}فاصله پس از نرمال‌سازی کوواریانس
هم‌ارزی کلیدیDM(x)=∣y∣2D_M(\mathbf{x}) = |\mathbf{y}|_2ماهالانوبیس = اقلیدسی در فضای سفیدشده

8. پیاده‌سازی پایتون، گام‌به‌گام

======================================================================
STEP 1: Generate Correlated Data (Original Space)
======================================================================
Original Covariance:
[[4 3]
 [3 4]]

======================================================================
STEP 2: Eigen Decomposition (Rotation + Scaling Factors)
======================================================================

Eigenvalues (λ): [7. 1.]

Eigenvectors (Φ):
[[ 0.70710678 -0.70710678]
 [ 0.70710678  0.70710678]]

======================================================================
STEP 3: Rotation Only
======================================================================

Covariance after Rotation (diagonal, up to sampling error):
[[6.54609064 0.06692453]
 [0.06692453 0.98399756]]
Off-diagonal before rotation: 3.0000
Off-diagonal after rotation: 0.0669

======================================================================
STEP 4: Scaling Only (Λ^(-1/2) normalizes variance)
======================================================================

Covariance after Scaling (identity, up to sampling error):
[[0.93515581 0.02529509]
 [0.02529509 0.98399756]]

======================================================================
STEP 5:  Whitening (W = ΦΛ^(-1/2))
======================================================================

Whitening Matrix (W = ΦΛ^(-1/2)):
[[ 0.26726124 -0.70710678]
 [ 0.26726124  0.70710678]]

Covariance after Whitening (W^T Σ W):
[[0.93515581 0.02529509]
 [0.02529509 0.98399756]]

کوواریانس‌های چاپ‌شده متعلق به یک نمونه 500 نقطه‌ای‌اند، نه به Σ=[4334]\boldsymbol{\Sigma} = \begin{bmatrix} 4 & 3 \\ 3 & 4\end{bmatrix} واقعی، و np.cov بر n−1n-1 تقسیم می‌کند. همین دلیل است که قطر پس از دوران 6.55 و 0.98 می‌خواند و نه دقیقاً 7 و 1، و پس از سفیدسازی 0.94 و 0.98 می‌خواند و نه دقیقاً 1: تبدیل دقیق است، برآورد کوواریانس نه. n_samples را بالا ببرید و درایه‌ها به همانی همگرا می‌شوند.


======================================================================
STEP 6: Visualization of Transformation
======================================================================
<Figure size 1400x1200 with 4 Axes>

======================================================================
STEP 7: Mahalanobis Distance = Euclidean in Whitened Space
======================================================================

Test Point: [4 4]
Mahalanobis Distance (Original Space): 1.5119
Euclidean Distance (Whitened Space): 1.5119

Mahalanobis distance and whitened Euclidean distance agree.

9. ماتریس کوواریانس در نظریهٔ تصمیم بیزی

چگالی شرطی-دستهٔ گاوسی در صفحهٔ نظریهٔ تصمیم بیزی چنین است

p(x∣ωi)=1(2π)d/2∣Σi∣1/2exp⁡(−12(x−μi)⊤Σi−1(x−μi)),p(\mathbf{x} \mid \omega_i) = \frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}_i|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu}_i)^{\top} \boldsymbol{\Sigma}_i^{-1} (\mathbf{x} - \boldsymbol{\mu}_i)\right),

که μi\boldsymbol{\mu}_i و Σi\boldsymbol{\Sigma}_i برای هر دسته با بیشترین درست‌نمایی برآورد می‌شوند (صفحهٔ MLE).

  • توان دقیقاً نصف مربع فاصلهٔ ماهالانوبیس از x\mathbf{x} تا μi\boldsymbol{\mu}_i است.

  • کوواریانس مشترک، Σi=Σ\boldsymbol{\Sigma}_i = \boldsymbol{\Sigma} برای همهٔ ii، ممیز لگاریتمی را خطی می‌کند و مرزها ابرصفحه می‌شوند: همان LDA.

  • کوواریانس جداگانه برای هر دسته جملهٔ درجه‌دوم می‌گذارد و QDA می‌دهد.

  • اگر Σ^i\hat{\boldsymbol{\Sigma}}_i تکین باشد — نمونهٔ هر دسته در برابر dd کم — چگالی، و با آن فاصلهٔ ماهالانوبیس، تا تنظیم‌نشدن برآورد تعریف‌شده نیست.

پس فاصلهٔ ماهالانوبیس فرمولی جداگانه که به دسته‌بندی افزوده شده باشد نیست: همان هندسهٔ دسته‌بند گاوسی است.

10. فاصلهٔ ماهالانوبیس و نقشش

برای یک ویژگی، امتیاز z می‌سنجد یک مقدار چند انحراف معیار از میانگین دور است. فاصلهٔ ماهالانوبیس همان ایده برای dd ویژگی است:

z2=(x−μ)2σ2⟶DM2=(x−μ)⊤Σ−1(x−μ).z^2 = \frac{(x-\mu)^2}{\sigma^2} \qquad\longrightarrow\qquad D_M^2 = (\mathbf{x}-\boldsymbol{\mu})^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}).

نقش σ2\sigma^2 را ماتریس کوواریانس می‌گیرد، پس Σ−1\boldsymbol{\Sigma}^{-1} هم‌زمان دو کار می‌کند: هر ویژگی را با واریانسش مقیاس می‌کند و فضا را می‌چرخاند تا همبستگی‌ها برداشته شوند. هندسی، DMD_M می‌شمارد نقطه چند «انحراف معیار» از مرکز ابر بیضی‌گون دور است و فاصله را در جهت محورهای کشیده و چرخیدهٔ آن بیضی می‌سنجد.

از فاصله به یک آزمون

برای داده‌ای که از N(μ,Σ)\mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma}) آمده، مربع فاصلهٔ ماهالانوبیس متغیری χ2\chi^2 با dd درجهٔ آزادی است، DM2∼χd2D_M^2 \sim \chi^2_d. پس فاصله به یک گزارهٔ احتمالاتی تبدیل می‌شود، که همان چیزی است که یک آشکارساز ناهنجاری می‌خواهد: چندک‌های 95٪ و 99٪ χ22\chi^2_2 برابر 5.99 و 9.21 هستند، پس نقطه‌ای با DM2D_M^2 بیش از آن‌ها بیرون از کانتور احتمال متناظر بیضی است. این نسخهٔ چندمتغیرهٔ قاعدهٔ «بیش از دو انحراف معیار دور» است و رایج‌ترین کاربرد عملی این فاصله است.

11. استانداردسازی، PCA و سفیدسازی

هر سه تبدیل از همان آماره‌ها شروع می‌کنند و به‌راحتی با هم اشتباه می‌شوند. برحسب تجزیهٔ مقدار ویژه Σ=ΦΛΦ⊤\boldsymbol{\Sigma} = \Phi\Lambda\Phi^{\top}:

  • استانداردسازی هر ویژگی را بر انحراف معیار خودش تقسیم می‌کند. قطر کوواریانس را یک می‌کند ولی همبستگی‌های غیرقطری سر جایشان می‌مانند.

  • PCA به محورهای اصلی می‌چرخاند، z=Φ⊤(x−μ)\mathbf{z} = \Phi^{\top}(\mathbf{x} - \boldsymbol{\mu})، و کوواریانس Λ\Lambda دارد: همبستگی‌ها رفته‌اند، واریانس‌های λi\lambda_i مانده‌اند.

  • سفیدسازی می‌چرخاند و بعد مقیاس می‌دهد، y=Λ−1/2Φ⊤(x−μ)=Λ−1/2z\mathbf{y} = \Lambda^{-1/2}\Phi^{\top}(\mathbf{x} - \boldsymbol{\mu}) = \Lambda^{-1/2}\mathbf{z}، و کوواریانس I\mathbf{I} دارد.

ویژگیاستانداردسازیPCAسفیدسازی
هدفواحدهای قابل مقایسهکاهش بُعد، نگه داشتن واریانسواریانس واحد و بی‌همبستگی
تبدیلxi′=(xi−μi)/σix_i' = (x_i-\mu_i)/\sigma_iΦ⊤(x−μ)\Phi^{\top}(\mathbf{x}-\boldsymbol{\mu})Λ−1/2Φ⊤(x−μ)\Lambda^{-1/2}\Phi^{\top}(\mathbf{x}-\boldsymbol{\mu})
کوواریانس بعد از آنهمبستگی‌ها ماندهقطری، Λ\Lambdaهمانی، I\mathbf{I}
شکل ابر نقطه‌هاهمان بیضیبیضی هم‌راستا با محورهاکره
اقلیدسی == ماهالانوبیس؟نهنهبله
از دست رفتن اطلاعاتهیچاگر k<dk<d مؤلفه نگه داشته شوددر رتبهٔ کامل هیچ

آن‌که فاصلهٔ اقلیدسی را معنادار می‌کند سفیدسازی است: پس از استانداردسازی ویژگی‌ها هنوز در جهت‌های همبسته واریانس‌های مختلف دارند و پس از PCA محورها هنوز واریانس‌های λi\lambda_i را دارند. تنها وقتی هر جهت واریانس 1 دارد، کرهٔ اقلیدسی به کانتور چگالی احتمال ثابت تبدیل می‌شود.

نمایش: PCA در برابر سفیدسازی

سلول بعد هر دو تبدیل را روی همان ابر نقطه‌ها اعمال می‌کند و سه فاصلهٔ یک نقطهٔ آزمون را چاپ می‌کند.

Source

======================================================================
COMPARISON: Original → PCA → Whitening
======================================================================
<Figure size 1800x600 with 3 Axes>

======================================================================
Distance Metrics for a Test Point
======================================================================

Test Point: [2. 1.]
Mahalanobis Distance (Original): 1.0690
Euclidean Distance (PCA Space):  2.2361
Euclidean Distance (White Space): 1.0690

Conclusion: only whitening keeps the Euclidean distance equal to the Mahalanobis one.

چرا این برای فاصلهٔ ماهالانوبیس مهم است

  1. PCA داده را با محورهای اصلی هم‌راستا می‌کند ولی واریانس‌های مختلف در آن محورها را نگه می‌دارد. اگر در فضای PCA فاصلهٔ اقلیدسی بسنجید، نقطه‌ای 2 واحد دور در محور پُرواریانس با نقطه‌ای 2 واحد دور در محور کم‌واریانس یکسان گرفته می‌شود. این احتمال آماری را کج می‌کند.

  2. سفیدسازی واریانس‌ها را نرمال می‌کند. در این فضا 1 واحد در هر جهت برابر 1 انحراف معیار است. پس فاصلهٔ اقلیدسی در فضای سفیدشده به‌درستی «غافلگیری» آماری نقطه (فاصلهٔ ماهالانوبیس) را نشان می‌دهد.

نتیجه

فاصلهٔ ماهالانوبیس تعمیم طبیعی امتیاز z به چند بُعد است. از راه ماتریس کوواریانس، مقیاس هر ویژگی و همبستگی میان ویژگی‌ها را در نظر می‌گیرد، کاری که فاصلهٔ اقلیدسی نمی‌تواند. به کار می‌رود در

  • آشکارسازی ناهنجاری: علامت‌گذاری نقطه‌هایی که از نظر آماری نامحتمل‌اند، در برابر یک چندک χ2\chi^2؛

  • دسته‌بندی: توان ممیز گاوسی نظریهٔ تصمیم بیزی است که پارامترهایش از صفحهٔ MLE می‌آیند؛

  • پیش‌پردازش: سفیدسازی، که پس از آن ابزارهای اقلیدسی معتبر می‌شوند.

نکته‌های کلیدی

  • فاصلهٔ اقلیدسی دادهٔ کره‌گون را فرض می‌کند؛ فاصلهٔ ماهالانوبیس دادهٔ بیضی‌گون را.

  • ماتریس کوواریانس Σ\boldsymbol{\Sigma} شکل، مقیاس و جهت‌گیری توزیع را حمل می‌کند.

  • سفیدسازی Σ\boldsymbol{\Sigma} را به I\mathbf{I} می‌برد و ابر نقطه‌ها را کره می‌کند.

  • اگر y=W⊤(x−μ)\mathbf{y} = W^{\top}(\mathbf{x}-\boldsymbol{\mu}) آن‌گاه Cov⁡(y)=W⊤ΣW\operatorname{Cov}(\mathbf{y}) = W^{\top}\boldsymbol{\Sigma}W؛ برای W=ΦΛ−1/2W = \Phi\Lambda^{-1/2} این برابر I\mathbf{I} است.

  • در فضای سفیدشده فاصلهٔ اقلیدسی برابر فاصلهٔ ماهالانوبیس است؛ استانداردسازی هر‌ویژگی این را به دست نمی‌آورد، چون همبستگی‌ها را نگه می‌دارد.

منابع

Duda et al. (2000)

Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience, chapter 2.

References
  1. Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience.