Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

نظریهٔ تصمیم بیزی

محمود امین‌طوسی، پاییز ۱۴۰۵

گروه علوم کامپیوتر، دانشگاه فردوسی مشهد

این صفحه از فصل 2 کتاب Pattern Classification نوشتهٔ دودا، هارت و استورک (Duda et al. (2000)) پیروی می‌کند، همراه با شکل‌ها و مثال ماهی همان کتاب. برآوردهایی که چگالی‌ها را پر می‌کنند از صفحهٔ MLE می‌آیند؛ هندسهٔ حالت گاوسی در صفحهٔ فاصلهٔ ماهالانوبیس کار شده است، و فرض ساده‌کننده‌ای که چگالی‌ها را محاسباتی می‌کند موضوع Naive Bayes است.

هدف‌های یادگیری. در پایان باید بتوانید

  1. فرمول بیز را برای یک مسئلهٔ دسته‌بندی بنویسید و بگویید کدام عامل پیشین، درست‌نمایی، شاهد و پسین است؛

  2. ماتریس زیان و ریسک شرطی را تعریف کنید و نشان دهید زیان صفر-یک همان قاعدهٔ کمینه‌نرخ خطاست؛

  3. تابع ممیز کلاس‌های گاوسی را در سه حالت فصل دودا — کوواریانس همسانگرد، برابر و دلخواه — استنتاج کنید؛

  4. بگویید مرز تصمیم در هر حالت چه شکلی است: ابرصفحه‌ای عمود بر خط میان میانگین‌ها، ابرصفحه‌ای کلی، یا سطحی درجه‌دوم؛

  5. هندسه را از مقادیر ویژهٔ ماتریس کوواریانس بخوانید.

English · فارسی
English · فارسی

مقدمه

  • نظریهٔ تصمیم بیزی رویکردی آماری به دسته‌بندی الگو است.

  • مبادله‌های میان تصمیم‌های دسته‌بندی را با احتمال‌ها و هزینه‌ها کمّی می‌کند.

  • فرض می‌کند همهٔ احتمال‌های مربوط شناخته‌شده‌اند.

  • مثال: دسته‌بندی ماهی (سی‌باس در برابر سالمون) بر پایهٔ ویژگی‌هایی مثل روشنایی.


مفاهیم کلیدی

  • وضعیت طبیعت (ω \omega ): دستهٔ واقعی را نشان می‌دهد (مثلاً سی‌باس یا سالمون).

  • احتمال پیشین (P(ωj) P(\omega_j) ): احتمال یک دسته پیش از مشاهدهٔ هر داده‌ای.

  • چگالی احتمال شرطی-دسته (p(x∣ωj) p(\mathbf{x} \mid \omega_j) ): چگالی احتمال مشاهدهٔ x \mathbf{x} به‌شرط دستهٔ ωj \omega_j .

  • احتمال پسین (P(ωj∣x) P(\omega_j \mid \mathbf{x}) ): احتمال دستهٔ ωj \omega_j پس از مشاهدهٔ ویژگی‌های x \mathbf{x} .


فرمول بیز

  • قضیهٔ بیز:

    P(ωj∣x)=p(x∣ωj) P(ωj)p(x)P(\omega_j \mid \mathbf{x}) = \frac{p(\mathbf{x} \mid \omega_j)\,P(\omega_j)}{p(\mathbf{x})}

    یعنی پسین = درست‌نمایی × پیشین / شاهد. شاهد (p(x) p(\mathbf{x}) ) ثابت نرمال‌سازی است و در دسته‌بندی اغلب نادیده گرفته می‌شود چون برای همهٔ دسته‌ها یکسان است.

    p(x)=∑j=1cp(x∣ωj) P(ωj)p(\mathbf{x}) = \sum_{j=1}^c p(\mathbf{x} \mid \omega_j)\,P(\omega_j)

مثال ماهی در ادامه یک‌بعدی است: آنجا مشاهدهٔ x \mathbf{x} یک ویژگی تک است، روشنایی ماهی، و p(x∣ωj) p(x \mid \omega_j) منحنی است نه سطح.

خواندن فرمول

آن‌چه پسین را تعیین می‌کند ضرب درست‌نمایی در پیشین است؛ شاهد p(x) p(\mathbf{x}) فقط عاملی مقیاسی است که هست تا پسین‌ها جمعشان یک شود. درست‌نمایی p(x∣ωj) p(\mathbf{x} \mid \omega_j) را به این نام می‌خوانند چون با فرض ثابت بودن بقیه چیزها، دسته‌ای که این مقدار برایش بزرگ است محتمل‌تر است.

شکل‌های 2.1 و 2.2 دو نیمهٔ استدلال را برای ماهی نشان می‌دهند: چگالی‌های شرطی-دسته، و پسین‌هایی که با پیشین‌های P(ω1)=2/3 P(\omega_1) = 2/3 و P(ω2)=1/3 P(\omega_2) = 1/3 می‌سازند.

شکل 2.1

شکل 2.1: چگالی‌های شرطی-دستهٔ فرضی برای روشنایی سی‌باس (ω1 \omega_1 ) و سالمون (ω2 \omega_2 ). هر منحنی یک چگالی است، پس مساحت زیرش 1 است.

شکل 2.2

شکل 2.2: پسین‌های چگالی‌های شکل 2.1 با P(ω1)=2/3 P(\omega_1) = 2/3 و P(ω2)=1/3 P(\omega_2) = 1/3 . در x=14 x = 14 پسین ω2 \omega_2 حدود 0.08 0.08 و پسین ω1 \omega_1 حدود 0.92 0.92 است؛ در هر x x جمع دو پسین 1 است.

ریسک و قاعده‌های تصمیم

زیان و ریسک شرطی

قاعدهٔ کمینه‌خطا حالت خاص معیاری کلی‌تر است. α1,…,αa \alpha_1,\dots,\alpha_a کنش‌های موجود باشند — در دسته‌بندی، «تصمیم بگیر ωi \omega_i » — و λij \lambda_{ij} زیان گرفتن کنش αi \alpha_i وقتی دستهٔ واقعی ωj \omega_j است. ریسک شرطی کنش αi \alpha_i برای مشاهدهٔ x \mathbf{x} چنین است

R(αi∣x)=∑j=1cλij P(ωj∣x),R(\alpha_i \mid \mathbf{x}) = \sum_{j=1}^{c} \lambda_{ij}\,P(\omega_j \mid \mathbf{x}),

و قاعدهٔ تصمیم بیز کنش با کمترین ریسک را برمی‌گزیند:

decide αiwherei=arg⁡min⁡iR(αi∣x).\text{decide } \alpha_i \quad \text{where} \quad i = \arg\min_{i} R(\alpha_i \mid \mathbf{x}).

زیان صفر-یک وقتی i=j i = j مقدار λij=0 \lambda_{ij} = 0 و در غیر این صورت 1 می‌گذارد، یعنی هر خطا را یکسان قیمت‌گذاری می‌کند. ریسک شرطی‌اش احتمال اشتباه بودن است،

R(αi∣x)=∑j≠iP(ωj∣x)=1−P(ωi∣x),R(\alpha_i \mid \mathbf{x}) = \sum_{j \neq i} P(\omega_j \mid \mathbf{x}) = 1 - P(\omega_i \mid \mathbf{x}),

پس کمینه کردن ریسک همان بیشینه کردن پسین است. زیان‌های نابرابر — اینکه بیماری از دست رفته گران‌تر از هشدار کاذب تمام شود — فقط آستانهٔ تصمیم را جابه‌جا می‌کنند؛ ماشین را عوض نمی‌کنند.

دسته‌بندی با کمترین نرخ خطا

  • اگر P(ω1∣x)>P(ω2∣x)P(\omega_1 \mid \mathbf{x}) > P(\omega_2 \mid \mathbf{x}) تصمیم بگیر ω1 \omega_1 ، وگرنه ω2 \omega_2 .

  • هم‌ارز آن، چون شاهد برای هر دو دسته مشترک است، اگر

    p(x∣ω1) P(ω1)>p(x∣ω2) P(ω2).p(\mathbf{x} \mid \omega_1)\,P(\omega_1) > p(\mathbf{x} \mid \omega_2)\,P(\omega_2).

    باشد تصمیم بگیر ω1 \omega_1 .

  • احتمال خطا برای یک مشاهدهٔ داده‌شده چنین است

    P(error∣x)=min⁡[P(ω1∣x),  P(ω2∣x)].P(\text{error} \mid \mathbf{x}) = \min\left[P(\omega_1 \mid \mathbf{x}),\; P(\omega_2 \mid \mathbf{x})\right].

حالت‌های خاص

دو حالت نشان می‌دهند کدام عامل تصمیم را می‌راند.

  1. اگر p(x∣ω1)=p(x∣ω2)p(\mathbf{x} \mid \omega_1) = p(\mathbf{x} \mid \omega_2)، مشاهده در هر دو دسته به یک اندازه محتمل است و چیزی به ما نمی‌گوید؛ تصمیم کاملاً بر پیشین‌ها می‌ایستد.

  2. اگر P(ω1)=P(ω2)P(\omega_1) = P(\omega_2)، دسته‌ها از پیش هم‌احتمال‌اند و تصمیم کاملاً بر درست‌نمایی‌ها می‌ایستد.

در حالت کلی هر دو مهم‌اند و قاعدهٔ gi(x)=p(x∣ωi)P(ωi)g_i(\mathbf{x}) = p(\mathbf{x} \mid \omega_i)P(\omega_i) آن‌ها را ترکیب می‌کند؛ همین ترکیب است که احتمال خطا را کمینه می‌کند.

بیش از دو دسته

با c>2c > 2 دسته همان قاعده بدون تغییر اعمال می‌شود: x \mathbf{x} را به دسته‌ای بده که پسین را بیشینه می‌کند، که — همان‌طور که بالا نشان داده شد — کنش کمترین ریسک زیر زیان صفر-یک است:

decide ωiwhereP(ωi∣x)>P(ωj∣x)for all j≠i.\text{decide } \omega_i \quad\text{where}\quad P(\omega_i \mid \mathbf{x}) > P(\omega_j \mid \mathbf{x}) \quad \text{for all } j \neq i.

برای هر دسته یک پسین حساب می‌کنیم و نواحی Ri \mathcal{R}_i که دستهٔ i i در آن‌ها برنده است با سطوح P(ωi∣x)=P(ωj∣x) P(\omega_i \mid \mathbf{x}) = P(\omega_j \mid \mathbf{x}) از هم جدا می‌شوند.

توابع ممیز

تابع ممیز gi(x) g_i(\mathbf{x}) هر تابعی است که مقدارش برای دسته‌ای که می‌خواهیم برگزینیم بزرگ‌ترین است؛ دسته‌بند برای هر دسته یکی حساب می‌کند و بیشینه را برمی‌گزیند.

decide ωiifgi(x)>gj(x) for all j≠i.\text{decide } \omega_i \quad\text{if}\quad g_i(\mathbf{x}) > g_j(\mathbf{x}) \text{ for all } j \neq i.

برای کمترین نرخ خطا انتخاب آشکار خود پسین است،

gi(x)=P(ωi∣x),g_i(\mathbf{x}) = P(\omega_i \mid \mathbf{x}),

و چون شاهد عاملی مثبت و مشترک است می‌توان از صورت استفاده کرد،

gi(x)=p(x∣ωi) P(ωi),g_i(\mathbf{x}) = p(\mathbf{x} \mid \omega_i)\,P(\omega_i),

یا از لگاریتمش، که ضرب را به جمع و نمایی گاوسی را به صورت درجه‌دوم تبدیل می‌کند:

gi(x)=ln⁡p(x∣ωi)+ln⁡P(ωi).g_i(\mathbf{x}) = \ln p(\mathbf{x} \mid \omega_i) + \ln P(\omega_i).

هر تابع یکنوای یک ممیز، خودش یک ممیز است، و هر ضریب مثبت یا ثابت جمعی را می‌توان حذف کرد: دسته‌بندی تغییر نمی‌کند. همین آزادی است که حالت گاوسی را در ادامه محاسباتی می‌کند.

شکل 2.5: ساختار یک دسته‌بند آماری کلی — dd ورودی، cc تابع ممیز، و یک انتخابگر بیشینه. فلش‌ها جریان اطلاعات را نشان می‌دهند.

چگالی نرمال

حالت تک‌متغیره

چگالی نرمال تک‌متغیره چنین است

p(x)=12πσexp⁡[−12(x−μσ)2],p(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^{2}\right],

با امید ریاضی x x (میانگینی روی فضای ویژگی)

μ=E[x]=∫−∞∞x p(x) dx\mu = \mathbb{E}[x] = \int_{-\infty}^{\infty} x\,p(x)\,dx

و واریانس

σ2=E[(x−μ)2]=∫−∞∞(x−μ)2p(x) dx.\sigma^2 = \mathbb{E}[(x-\mu)^2] = \int_{-\infty}^{\infty} (x-\mu)^2 p(x)\,dx .

نرمال تک‌متغیره کاملاً با μ \mu و σ2 \sigma^2 مشخص می‌شود؛ می‌نویسیم p(x)∼N(μ,σ2) p(x) \sim N(\mu, \sigma^2) . نمونه‌ها حول میانگین جمع می‌شوند با پخش‌شدگی‌ای که انحراف معیار σ \sigma تعیین می‌کند (شکل 2.7).

شکل 2.7

شکل 2.7: نرمال تک‌متغیره تقریباً 95%95\% مساحتش داخل ∣x−μ∣≤2σ|x-\mu| \le 2\sigma است؛ مقدار قله p(μ)=1/(2πσ) p(\mu) = 1/(\sqrt{2\pi}\sigma) است.

چگالی نرمال چندمتغیره

p(x)=1(2π)d/2∣Σ∣1/2exp⁡[−12(x−μ)⊤Σ−1(x−μ)],p(\mathbf{x}) = \frac{1}{(2\pi)^{d/2}|\boldsymbol{\Sigma}|^{1/2}} \exp\left[-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right],

که بردار میانگین μ \boldsymbol{\mu} و ماتریس کوواریانس Σ \boldsymbol{\Sigma} جای دو اسکالر حالت تک‌متغیره را می‌گیرند.

تعریف‌های رسمی

μ=E[x]=∫x p(x) dx,Σ=E[(x−μ)(x−μ)⊤].\boldsymbol{\mu} = \mathbb{E}[\mathbf{x}] = \int \mathbf{x}\,p(\mathbf{x})\,d\mathbf{x}, \qquad \boldsymbol{\Sigma} = \mathbb{E}\left[(\mathbf{x}-\boldsymbol{\mu})(\mathbf{x}-\boldsymbol{\mu})^{\top}\right].

امید ریاضی یک بردار یا ماتریس درایه‌به‌درایه گرفته می‌شود: با xi x_i مؤلفهٔ i i ام x \mathbf{x} و σij \sigma_{ij} درایهٔ ij ij ام Σ \boldsymbol{\Sigma} ،

μi=E[xi],σij=E[(xi−μi)(xj−μj)].\mu_i = \mathbb{E}[x_i], \qquad \sigma_{ij} = \mathbb{E}[(x_i-\mu_i)(x_j-\mu_j)].

ویژگی‌های ماتریس کوواریانس

  • Σ \boldsymbol{\Sigma} متقارن و مثبت نیمه‌معین است؛ فرض می‌کنیم مثبت معین است، تا ∣Σ∣>0 |\boldsymbol{\Sigma}| > 0 و وارونش وجود داشته باشد.

  • درایهٔ قطری σii \sigma_{ii} واریانس xi x_i است، یعنی σi2 \sigma_i^2 .

  • درایهٔ غیرقطری σij \sigma_{ij} کوواریانس xi x_i و xj x_j است؛ برای طول و وزن جمعیتی از ماهی انتظار مثبت بودنش را داریم.

  • اگر xi x_i و xj x_j از نظر آماری مستقل باشند σij=0 \sigma_{ij} = 0 ؛ اگر همهٔ درایه‌های غیرقطری صفر شوند، p(x) p(\mathbf{x}) به ضرب چگالی‌های نرمال تک‌متغیره تجزیه می‌شود.

پارامترها و هندسه

نرمال چندمتغیره کاملاً با d+d(d+1)/2 d + d(d+1)/2 پارامتر مشخص می‌شود: d d درایهٔ μ \boldsymbol{\mu} و d(d+1)/2 d(d+1)/2 درایهٔ مستقل Σ \boldsymbol{\Sigma} .

نمونه‌ها در یک خوشه می‌افتند که مرکزش μ \boldsymbol{\mu} و شکلش Σ \boldsymbol{\Sigma} است. مکان‌های چگالی ثابت ابربیضی‌های

(x−μ)⊤Σ−1(x−μ)=constant,(\mathbf{x}-\boldsymbol{\mu})^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}) = \text{constant},

هستند که محورهای اصلی‌شان بردارهای ویژهٔ Σ \boldsymbol{\Sigma} و طول محورهایشان از مقادیر ویژه می‌آید. خود صورت درجه‌دوم همان مربع فاصلهٔ ماهالانوبیس از x \mathbf{x} تا μ \boldsymbol{\mu} است: کانتورهای چگالی ثابت، کانتورهای فاصلهٔ ماهالانوبیس ثابت‌اند و حجمی که در بر می‌گیرند پخش‌شدگی نمونه‌ها را می‌سنجد.

شکل 2.9

شکل 2.9: نمونه‌های یک گاوسی دوبعدی در ابری به مرکزیت μ \boldsymbol{\mu} می‌افتند؛ بیضی‌های قرمز خطوط چگالی احتمال برابرند.

توابع ممیز برای چگالی‌های نرمال

حالت 1: کوواریانس همسانگرد، Σi=σ2I \boldsymbol{\Sigma}_i = \sigma^2\mathbf{I}

ساده‌ترین حالت: همهٔ دسته‌ها کوواریانس کره‌گون یکسان دارند. آن‌گاه ∣Σi∣=σ2d |\boldsymbol{\Sigma}_i| = \sigma^{2d} و Σi−1=I/σ2 \boldsymbol{\Sigma}_i^{-1} = \mathbf{I}/\sigma^2 ، پس چگالی و لگاریتمش چنین‌اند

p(x∣ωi)=1(2πσ2)d/2exp⁡(−∥x−μi∥22σ2),ln⁡p(x∣ωi)=−∥x−μi∥22σ2−d2ln⁡(2πσ2).p(\mathbf{x} \mid \omega_i) = \frac{1}{(2\pi\sigma^2)^{d/2}} \exp\left(-\frac{\|\mathbf{x}-\boldsymbol{\mu}_i\|^2}{2\sigma^2}\right), \qquad \ln p(\mathbf{x} \mid \omega_i) = -\frac{\|\mathbf{x}-\boldsymbol{\mu}_i\|^2}{2\sigma^2} - \frac{d}{2}\ln(2\pi\sigma^2).

با جای‌گذاری در gi(x)=ln⁡p(x∣ωi)+ln⁡P(ωi) g_i(\mathbf{x}) = \ln p(\mathbf{x} \mid \omega_i) + \ln P(\omega_i) و حذف جملهٔ d2ln⁡(2πσ2) \frac{d}{2}\ln(2\pi\sigma^2) چون برای همهٔ دسته‌ها یکسان است:

gi(x)=−∥x−μi∥22σ2+ln⁡P(ωi)\boxed{g_i(\mathbf{x}) = -\frac{\|\mathbf{x}-\boldsymbol{\mu}_i\|^2}{2\sigma^2} + \ln P(\omega_i)}

با پیشین‌های برابر قاعده این است که «x \mathbf{x} را به نزدیک‌ترین میانگین بده»، با فاصلهٔ اقلیدسی مقیاس‌شده با 2σ2 2\sigma^2 . با پیشین‌های نابرابر، نقطه‌ای که به دو میانگین یکسان نزدیک است به دستهٔ از پیش محتمل‌تر داده می‌شود، چون ln⁡P(ωi) \ln P(\omega_i) داور تساوی است.

شکل خطی و مرز

با بسط صورت درجه‌دوم،

gi(x)=−12σ2[x⊤x−2μi⊤x+μi⊤μi]+ln⁡P(ωi).g_i(\mathbf{x}) = -\frac{1}{2\sigma^2}\left[\mathbf{x}^{\top}\mathbf{x} - 2\boldsymbol{\mu}_i^{\top}\mathbf{x} + \boldsymbol{\mu}_i^{\top}\boldsymbol{\mu}_i\right] + \ln P(\omega_i).

جملهٔ x⊤x \mathbf{x}^{\top}\mathbf{x} به i i بستگی ندارد و به‌عنوان ثابت جمعی حذف می‌شود، که ممیزی خطی باقی می‌گذارد

gi(x)=wi⊤x+wi0,wi=μiσ2,wi0=−μi⊤μi2σ2+ln⁡P(ωi),g_i(\mathbf{x}) = \mathbf{w}_i^{\top}\mathbf{x} + w_{i0}, \qquad \mathbf{w}_i = \frac{\boldsymbol{\mu}_i}{\sigma^2}, \qquad w_{i0} = -\frac{\boldsymbol{\mu}_i^{\top}\boldsymbol{\mu}_i}{2\sigma^2} + \ln P(\omega_i),

که wi0 w_{i0} آستانه (یا بایاس) دستهٔ i i است. دسته‌بندی که از ممیزهای خطی ساخته شود یک ماشین خطی است: سطوح تصمیمش تکه‌هایی از ابرصفحه‌اند که با gi(x)=gj(x) g_i(\mathbf{x}) = g_j(\mathbf{x}) برای دو دسته‌ای که پسین‌شان بزرگ‌ترین است داده می‌شوند. برای دو دسته آن معادله چنین خوانده می‌شود

w⊤(x−x0)=0,w=μi−μj,x0=12(μi+μj)−σ2∥μi−μj∥2ln⁡P(ωi)P(ωj) (μi−μj).\mathbf{w}^{\top}(\mathbf{x}-\mathbf{x}_0) = 0, \qquad \mathbf{w} = \boldsymbol{\mu}_i - \boldsymbol{\mu}_j, \qquad \mathbf{x}_0 = \frac{1}{2}(\boldsymbol{\mu}_i + \boldsymbol{\mu}_j) - \frac{\sigma^2}{\|\boldsymbol{\mu}_i-\boldsymbol{\mu}_j\|^2} \ln\frac{P(\omega_i)}{P(\omega_j)}\,(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j).

پس مرز ابرصفحه‌ای است که از x0 \mathbf{x}_0 می‌گذرد و بر w=μi−μj \mathbf{w} = \boldsymbol{\mu}_i-\boldsymbol{\mu}_j عمود است — عمود، یعنی بر خطی که دو میانگین را وصل می‌کند. با پیشین‌های برابر x0 \mathbf{x}_0 نقطهٔ میانی است و مرز عمودمنصف پارهٔ میان دو میانگین؛ با پیشین‌های نابرابر مرز از میانگین محتمل‌تر دور می‌شود، به اندازه‌ای که وقتی σ2 \sigma^2 در برابر ∥μi−μj∥2 \|\boldsymbol{\mu}_i-\boldsymbol{\mu}_j\|^2 بزرگ است بزرگ می‌شود و وقتی میانگین‌ها دورند ناچیز.

شکل 2.10

شکل 2.10: با کوواریانس‌های همسانگرد برابر، نواحی دسته‌ها با ابرصفحه‌ای تعمیم‌یافته از d−1d-1 بُعد جدا می‌شوند که بر خط وصل‌کنندهٔ میانگین‌ها عمود است.

دسته‌بند کمترین فاصله

اگر همهٔ پیشین‌ها هم برابر باشند، ln⁡P(ωi) \ln P(\omega_i) ثابت جمعی است و قاعده به سنجیدن فاصلهٔ اقلیدسی ∥x−μi∥ \|\mathbf{x}-\boldsymbol{\mu}_i\| و دادن نزدیک‌ترین میانگین فرو می‌کاهد. این همان دسته‌بند کمترین فاصله است. اگر هر میانگین را نمونهٔ آرمانی (prototype) دسته‌اش بخوانیم، رویه‌ای تطبیق الگو می‌شود، و دقیقاً همان قاعدهٔ نزدیک‌ترین همسایهٔ فصل پیش است با یک الگو برای هر دسته به‌جای کل مجموعهٔ آموزش.

ابرصفحه در دو بُعد چه شکلی است

معادلهٔ w⊤(x−x0)=0 \mathbf{w}^{\top}(\mathbf{x}-\mathbf{x}_0) = 0 می‌گوید برای هر نقطهٔ x \mathbf{x} روی سطح، بردار x−x0 \mathbf{x}-\mathbf{x}_0 بر w \mathbf{w} عمود است، پس:

  • w \mathbf{w} عمود بر سطح است و جهت‌گیری‌اش را تعیین می‌کند؛

  • x0 \mathbf{x}_0 یک نقطهٔ ثابت روی سطح است؛

  • در d=2 d = 2 سطح یک خط است و معادله به w1(x−x01)+w2(x−x02)=0 w_1(x-x_{01}) + w_2(x-x_{02}) = 0 تبدیل می‌شود.

مثلاً با w=(2,1)⊤ \mathbf{w} = (2,1)^{\top} و x0=(1,1)⊤ \mathbf{x}_0 = (1,1)^{\top} خط 2x+y−3=0 2x + y - 3 = 0 است. سلول بعد آن را همراه با بردار عمود رسم می‌کند.

<Figure size 640x480 with 1 Axes>

حالت 2: ماتریس‌های کوواریانس برابر ولی دلخواه، Σi=Σ \boldsymbol{\Sigma}_i = \boldsymbol{\Sigma}

وقتی همهٔ دسته‌ها کوواریانس غیرکره‌گون یکسان دارند، ممیز کلی

gi(x)=−12(x−μi)⊤Σ−1(x−μi)+ln⁡P(ωi),g_i(\mathbf{x}) = -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) + \ln P(\omega_i),

از گاوسی پس از حذف ln⁡∣Σ∣ \ln|\boldsymbol{\Sigma}| و d2ln⁡(2π) \frac{d}{2}\ln(2\pi) به دست می‌آید، که اکنون برای همهٔ دسته‌ها مشترک‌اند. با بسط جملهٔ درجه‌دوم (با استفاده از اینکه Σ−1 \boldsymbol{\Sigma}^{-1} متقارن است، پس x⊤Σ−1μi=μi⊤Σ−1x \mathbf{x}^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i = \boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\mathbf{x} ):

(x−μi)⊤Σ−1(x−μi)=x⊤Σ−1x−2μi⊤Σ−1x+μi⊤Σ−1μi.(\mathbf{x}-\boldsymbol{\mu}_i)^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) = \mathbf{x}^{\top}\boldsymbol{\Sigma}^{-1}\mathbf{x} - 2\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\mathbf{x} + \boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i .

جملهٔ اول به i i بستگی ندارد و حذف می‌شود؛ آن‌چه می‌ماند باز هم خطی است،

gi(x)=wi⊤x+wi0,wi=Σ−1μi,wi0=−12μi⊤Σ−1μi+ln⁡P(ωi),g_i(\mathbf{x}) = \mathbf{w}_i^{\top}\mathbf{x} + w_{i0}, \qquad \mathbf{w}_i = \boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i, \qquad w_{i0} = -\frac{1}{2}\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i + \ln P(\omega_i),

پس مرزها ابرصفحه‌اند. با گذاشتن gi(x)=gj(x) g_i(\mathbf{x}) = g_j(\mathbf{x}) :

(μi−μj)⊤Σ−1x−12(μi⊤Σ−1μi−μj⊤Σ−1μj)+ln⁡P(ωi)P(ωj)=0.(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j)^{\top}\boldsymbol{\Sigma}^{-1}\mathbf{x} - \frac{1}{2}\left(\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i - \boldsymbol{\mu}_j^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_j\right) + \ln\frac{P(\omega_i)}{P(\omega_j)} = 0 .

هندسهٔ حالت 2

مرز را به‌صورت w⊤x+w0=0 \mathbf{w}^{\top}\mathbf{x} + w_0 = 0 بنویسید با

w=Σ−1(μi−μj),w0=−12(μi⊤Σ−1μi−μj⊤Σ−1μj)+ln⁡P(ωi)P(ωj).\mathbf{w} = \boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j), \qquad w_0 = -\frac{1}{2}\left(\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_i - \boldsymbol{\mu}_j^{\top}\boldsymbol{\Sigma}^{-1}\boldsymbol{\mu}_j\right) + \ln\frac{P(\omega_i)}{P(\omega_j)} .

بردار عمود w \mathbf{w} در راستای Σ−1(μi−μj) \boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j) است که به‌طور کلی راستای μi−μj \boldsymbol{\mu}_i-\boldsymbol{\mu}_j نیست: کوواریانس مشترک مرز را می‌چرخاند. فقط وقتی Σ \boldsymbol{\Sigma} متناسب با I \mathbf{I} باشد به حالت 1 برمی‌گردیم. با پیشین‌های برابر لگاریتم حذف می‌شود و مرز از x0=12(μi+μj) \mathbf{x}_0 = \frac{1}{2}(\boldsymbol{\mu}_i+\boldsymbol{\mu}_j) می‌گذرد، ولی بر خط میان میانگین‌ها عمود نیست.

سطوح فاصلهٔ ماهالانوبیس ثابت از دو میانگین ابربیضی‌هایی هم‌شکل و هم‌جهت‌اند، یکی برای هر دسته، چون Σ \boldsymbol{\Sigma} مشترک است. خطی‌بودن مرز فقط به این دلیل است که جمله‌های درجه‌دوم x⊤Σ−1x \mathbf{x}^{\top}\boldsymbol{\Sigma}^{-1}\mathbf{x} در gi−gj g_i - g_j حذف می‌شوند.

شکل 2.12: ماتریس‌های کوواریانس برابر مرزهای خطی می‌دهند که لزوماً بر خط وصل‌کنندهٔ میانگین‌ها عمود نیستند؛ هر دو دسته با بیضی‌های چگالی برابر یکسان نشان داده شده‌اند و مرز با پیشین‌ها جابه‌جا می‌شود. شکل بعد لغزیدن آن را با تغییر پیشین‌ها، برای دسته‌های کره‌گون یک، دو و سه‌بعدی نشان می‌دهد.

شکل 2.11

شکل 2.11: با تغییر پیشین‌ها مرز تصمیم جابه‌جا می‌شود؛ برای پیشین‌های به‌قدر کافی نابرابر، مرز میان میانگین‌های این توزیع‌های گاوسی کره‌گون یک، دو و سه‌بعدی نخواهد افتاد

حالت 3: ماتریس‌های کوواریانس دلخواه، Σi \boldsymbol{\Sigma}_i

حالت کلی: هر دسته میانگین μi \boldsymbol{\mu}_i و کوواریانس Σi \boldsymbol{\Sigma}_i خودش را دارد. با شروع از

gi(x)=ln⁡p(x∣ωi)+ln⁡P(ωi)=−12(x−μi)⊤Σi−1(x−μi)−12ln⁡∣Σi∣+ln⁡P(ωi),g_i(\mathbf{x}) = \ln p(\mathbf{x} \mid \omega_i) + \ln P(\omega_i) = -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^{\top}\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) - \frac{1}{2}\ln|\boldsymbol{\Sigma}_i| + \ln P(\omega_i),

و بسط صورت درجه‌دوم دقیقاً مانند حالت 2، ولی این بار با Σi \boldsymbol{\Sigma}_i :

gi(x)=−12x⊤Σi−1x+μi⊤Σi−1x−12μi⊤Σi−1μi−12ln⁡∣Σi∣+ln⁡P(ωi).g_i(\mathbf{x}) = -\frac{1}{2}\mathbf{x}^{\top}\boldsymbol{\Sigma}_i^{-1}\mathbf{x} + \boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}_i^{-1}\mathbf{x} - \frac{1}{2}\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i - \frac{1}{2}\ln|\boldsymbol{\Sigma}_i| + \ln P(\omega_i).

این صورتی درجه‌دوم در x \mathbf{x} است،

gi(x)=x⊤Wix+wi⊤x+wi0,Wi=−12Σi−1,wi=Σi−1μi,g_i(\mathbf{x}) = \mathbf{x}^{\top}\mathbf{W}_i\mathbf{x} + \mathbf{w}_i^{\top}\mathbf{x} + w_{i0}, \qquad \mathbf{W}_i = -\frac{1}{2}\boldsymbol{\Sigma}_i^{-1}, \qquad \mathbf{w}_i = \boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i,
wi0=−12μi⊤Σi−1μi−12ln⁡∣Σi∣+ln⁡P(ωi).w_{i0} = -\frac{1}{2}\boldsymbol{\mu}_i^{\top}\boldsymbol{\Sigma}_i^{-1}\boldsymbol{\mu}_i - \frac{1}{2}\ln|\boldsymbol{\Sigma}_i| + \ln P(\omega_i).

تفاوت با حالت 2 جملهٔ −12ln⁡∣Σi∣- \frac{1}{2}\ln|\boldsymbol{\Sigma}_i| است: با کوواریانس‌های نابرابر حجم دسته مهم می‌شود و دستهٔ پخش‌شده جریمه می‌شود. ممیز اکنون درجه‌دوم در x \mathbf{x} است و مرز، که با gi(x)=gj(x) g_i(\mathbf{x}) = g_j(\mathbf{x}) داده می‌شود،

x⊤(Wi−Wj)x+(wi−wj)⊤x+(wi0−wj0)=0,\mathbf{x}^{\top}(\mathbf{W}_i-\mathbf{W}_j)\mathbf{x} + (\mathbf{w}_i-\mathbf{w}_j)^{\top}\mathbf{x} + (w_{i0}-w_{j0}) = 0,

جملهٔ درجه‌دومش را از دست نمی‌دهد، چون Wi≠Wj \mathbf{W}_i \neq \mathbf{W}_j .

مرزهای درجه‌دوم چه شکلی‌اند

سطحی از این نوع یک ابرسطح درجه‌دوم است — ابرصفحه، جفت ابرصفحه، ابرکره، ابربیضی، ابرسهمی‌گون یا ابرهایپربولویید، بسته به مقادیر ویژهٔ Wi−Wj \mathbf{W}_i - \mathbf{W}_j و جمله‌های خطی و ثابت. در دو بُعد این‌ها خط، جفت خط، دایره، بیضی، سهمی و هذلولی‌اند. هر یک از این شکل‌ها می‌تواند از دو گاوسی برخیزد و برعکس هر ابرسطح درجه‌دوم مرز بیز برخی جفت گاوسی است.

شکل 2.6

شکل 2.6: دسته‌بند گاوسی دوبعدی دو‌دسته با کوواریانس‌های نابرابر. دو هذلولی مرزند، پس ناحیهٔ تصمیم R2 \mathcal{R}_2 به‌سادگی همبند نیست — یادآوری اینکه «آن» مرز می‌تواند چند شاخه داشته باشد.

شکل 2.14

شکل 2.14: گاوسی‌های دلخواه مرزهای ابرسطح درجه‌دوم می‌دهند؛ چهار پنل بیضی، هذلولی، سهمی و جفت خط را نشان می‌دهند.

بیش از دو دسته

گسترش نتیجه به cc دسته روراست است، ولی باید مراقب بود کدام دو دسته مسئول هر تکه از یک مرزند. شکل 2.16 نواحی تصمیم مسئله‌ای چهار‌دسته با دسته‌های گاوسی را نشان می‌دهد: حتی با چهار دسته نواحی از پیش پیچیده‌اند و همان نظریه هنوز بر آن‌ها حکم می‌راند.

شکل 2.16

شکل 2.16: نواحی تصمیم چهار توزیع نرمال.


تمرین: بازبینی حالت 2 با Scikit-Learn

هدف. مرز حالت 2 را دو بار بازتولید کنید — یک بار از فرمول بالا و یک بار از GaussianNB — و بررسی کنید که می‌خوانند.

  1. تولید داده. دو دسته، هر کدام 200 نقطه، هر دو با کوواریانس Σ=[2112] \boldsymbol{\Sigma} = \begin{bmatrix} 2 & 1 \\ 1 & 2\end{bmatrix} و میانگین‌های μ1=(2,3)⊤ \boldsymbol{\mu}_1 = (2,3)^{\top} ، μ2=(6,5)⊤ \boldsymbol{\mu}_2 = (6,5)^{\top} .

  2. مرز نظری. با P(ω1)=P(ω2)=0.5 P(\omega_1) = P(\omega_2) = 0.5 از

    gi(x)=−12(x−μi)⊤Σ−1(x−μi)+ln⁡P(ωi)g_i(\mathbf{x}) = -\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu}_i)^{\top}\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i) + \ln P(\omega_i)

    استفاده کنید و منحنی g1(x)=g2(x) g_1(\mathbf{x}) = g_2(\mathbf{x}) را روی شبکه‌ای با plt.contour رسم کنید.

  3. مرز برآوردشده. GaussianNB را روی 200 + 200 نقطه برازش دهید و مرز پیش‌بینی‌هایش را روی همان شبکه رسم کنید.

  4. مقایسه. دو مرز را با هم، همراه با نقطه‌ها، خط وصل‌کنندهٔ دو میانگین و عمودمنصفش رسم کنید. دو مرز باید نزدیک ولی نه یکسان باشند: GaussianNB مقدارهای μi \boldsymbol{\mu}_i و Σi \boldsymbol{\Sigma}_i را از نمونه برآورد می‌کند، در حالی که گام 2 پارامترهای واقعی را به کار می‌برد. زاویهٔ میان بردار عمود بر مرز و خط وصل‌کنندهٔ میانگین‌ها، پیامد دیداری کوواریانس مشترک (حالت 2) است.

جمع‌بندی

نظریهٔ تصمیم بیزی احتمال‌ها را به تصمیم تبدیل می‌کند.

  • مواد لازم پیشین‌ها P(ωi) P(\omega_i) ، چگالی‌های شرطی-دسته p(x∣ωi) p(\mathbf{x} \mid \omega_i) ، پسین‌ها P(ωi∣x) P(\omega_i \mid \mathbf{x}) و شاهد p(x) p(\mathbf{x}) است که پسین‌ها را نرمال می‌کند و از هر تصمیمی حذف می‌شود.

  • معیار کلی ریسک شرطی با ماتریس زیان λij \lambda_{ij} است؛ زیان صفر-یک آن را به قاعدهٔ کمینه‌نرخ خطا فرو می‌کاهد: «بزرگ‌ترین پسین را برگزین».

  • هر تابع یکنوای پسین یک ممیز معتبر است؛ با گرفتن لگاریتم، گاوسی به صورت درجه‌دوم تبدیل می‌شود.

  • برای دسته‌های گاوسی سه رژیم هست: کوواریانس همسانگرد و برابر ممیزهای خطی و مرزهای ابرصفحه‌ای می‌دهد؛ کوواریانس‌های دلخواه ممیزهای درجه‌دوم و مرزهای ابرسطح درجه‌دوم.

  • صورت درجه‌دوم درون گاوسی همان مربع فاصلهٔ ماهالانوبیس است، و سه رژیم دقیقاً LDA، LDA با Σ \boldsymbol{\Sigma} کلی، و QDA هستند.

  • پارامترهای چگالی با بیشترین درست‌نمایی برآورد می‌شوند؛ وقتی دسته‌ها برای برآورد یک کوواریانس کامل کوچک‌اند، فرض ساده‌کننده (استقلال ویژگی‌ها) راه خروج معمول است.

منابع

Duda et al. (2000)

Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience, chapter 2.

References
  1. Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience.