Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

برآورد بیشترین درست‌نمایی (MLE)

محمود امین‌طوسی، پاییز ۱۴۰۵

گروه علوم کامپیوتر، دانشگاه فردوسی مشهد

تعریف‌ها و شکل این صفحه از فصل 3 کتاب Pattern Classification نوشتهٔ دودا، هارت و استورک (Duda et al. (2000)) گرفته شده است. برآوردهایی که اینجا استنتاج می‌شوند همان‌هایی هستند که صفحهٔ نظریهٔ تصمیم بیزی به کار می‌برد، جایی که چگالی‌های شرطی-دسته شناخته‌شده فرض می‌شوند.

هدف‌های یادگیری. در پایان باید بتوانید

  1. درست‌نمایی و لگاریتم درست‌نمایی یک نمونهٔ گاوسی را بنویسید و بگویید چرا لگاریتم می‌گیریم؛

  2. برآورد MLE میانگین و واریانس یک گاوسی تک‌متغیره را استنتاج کنید؛

  3. برآورد MLE بردار میانگین و ماتریس کوواریانس یک گاوسی چندمتغیره را استنتاج کنید؛

  4. بگویید این برآوردها به چه معنا اریب‌دارند و برآورد کوواریانس چه زمانی حتی تعریف نمی‌شود؛

  5. توضیح دهید برآوردها چگونه در قاعدهٔ تصمیم بیز جای می‌گیرند و این کار چگونه LDA و QDA می‌دهد.

English · فارسی

1. مقدمه

در دسته‌بندی آماری الگو، فرض رایج این است که داده با توزیع احتمالاتی زیربنایی با پارامترهای ناشناخته تولید می‌شود. مثلاً شاید فرض کنیم ویژگی xx از توزیع گاوسی (نرمال) پیروی می‌کند. برای گرفتن تصمیم بهینه (مثلاً دسته‌بندی با نظریهٔ تصمیم بیز)، باید پارامترهای این توزیع‌ها را از مجموعه‌دادهٔ آموزش برآورد کنیم.

برآورد بیشترین درست‌نمایی (MLE) روشی پارامتری و استاندارد برای برآورد پارامترهای ناشناختهٔ θ\theta در تابع چگالی احتمال p(x∣θ)p(x|\theta) با داشتن مجموعه‌دادهٔ D\mathcal{D} است. اصل کار انتخاب مقدارهای پارامتری است که دادهٔ مشاهده‌شده را محتمل‌ترین می‌کند.


2. تابع درست‌نمایی

تابع درست‌نمایی، که با L(θ∣D)L(\theta|\mathcal{D}) نشان داده می‌شود، احتمال مشاهدهٔ مجموعه‌دادهٔ مشخص D\mathcal{D} را به‌عنوان تابعی از پارامترهای θ\theta نشان می‌دهد.

تفاوت کلیدی: تمایز میان تابع چگالی احتمال p(x∣θ)p(x|\theta) و تابع درست‌نمایی L(θ∣D)L(\theta|\mathcal{D}) بنیادی است:

  1. p(x∣θ)p(x|\theta): توزیع دادهٔ xx برای پارامترهای ثابت θ\theta را توصیف می‌کند.

  2. L(θ∣D)L(\theta|\mathcal{D}): احتمال مجموعه‌دادهٔ D\mathcal{D} برای دادهٔ مشاهده‌شدهٔ ثابت را، به‌عنوان تابعی از θ\theta، توصیف می‌کند.

درست‌نمایی تابعی از θ\theta است که روی فضای پارامتر تعریف می‌شود؛ چگالی تابعی از xx است که روی فضای ویژگی تعریف می‌شود. به گفتهٔ دودا، هارت و استورک، شکل تابعی درست‌نمایی لزوماً همان شکل تابعی چگالی نیست.

شکل 3.1: نمودار بالا چند نقطهٔ آموزش در یک بُعد را نشان می‌دهد که معلوم یا فرض شده از گاوسی با واریانس مشخص ولی میانگین ناشناخته گرفته شده‌اند. چهار توزیع از بی‌نهایت توزیع مبدأ ممکن با خط‌چین نشان داده شده‌اند. شکل میانی درست‌نمایی p(D∣θ)p(\mathcal{D}|\theta) را به‌عنوان تابعی از میانگین نشان می‌دهد. اگر تعداد نقطه‌های آموزش بسیار زیاد بود، این درست‌نمایی بسیار باریک می‌شد. مقداری که درست‌نمایی را بیشینه می‌کند با θ^\hat{\theta} نشان داده شده؛ همان مقدار لگاریتم درست‌نمایی — یعنی ℓ(θ)\ell(\theta) که پایین نشان داده شده — را هم بیشینه می‌کند. به‌ویژه توجه کنید درست‌نمایی در فضایی متفاوت از p(x∣θ^)p(x|\hat{\theta}) قرار دارد و این دو می‌توانند شکل تابعی متفاوت داشته باشند.


3. استنتاج ریاضی: گاوسی تک‌متغیره

با ساده‌ترین حالت شروع می‌کنیم: برآورد پارامترهای یک توزیع گاوسی تک‌متغیره. این کار بنیاد فهم حالت چندمتغیره‌ای است که در دسته‌بندی الگو به کار می‌رود.

3.1 تعریف مسئله

D={x1,x2,…,xn}\mathcal{D} = \{x_1, x_2, \dots, x_n\} مجموعه‌داده‌ای شامل nn نمونهٔ مستقل و هم‌توزیع (i.i.d.) باشد. فرض می‌کنیم هر نمونه از توزیع گاوسی تک‌متغیره گرفته شده است:

p(x∣μ,σ2)=12πσ2exp⁡(−(x−μ)22σ2)p(x | \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right)

که:

3.2 تابع درست‌نمایی

تابع درست‌نمایی L(μ,σ2)L(\mu, \sigma^2) چگالی احتمال مشترک دادهٔ مشاهده‌شده است، با فرض استقلال:

L(μ,σ2)=p(D∣μ,σ2)=∏k=1np(xk∣μ,σ2)=∏k=1n12πσ2exp⁡(−(xk−μ)22σ2)=(12πσ2)nexp⁡(−∑k=1n(xk−μ)22σ2)\begin{aligned} L(\mu, \sigma^2) &= p(\mathcal{D} | \mu, \sigma^2) \\ &= \prod_{k=1}^n p(x_k | \mu, \sigma^2) \\ &= \prod_{k=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_k - \mu)^2}{2\sigma^2}\right) \\ &= \left( \frac{1}{\sqrt{2\pi\sigma^2}} \right)^n \exp\left( -\sum_{k=1}^n \frac{(x_k - \mu)^2}{2\sigma^2} \right) \end{aligned}

3.3 تابع لگاریتم درست‌نمایی

بیشینه کردن مستقیم L(μ,σ2)L(\mu, \sigma^2) به‌دلیل ضرب نمایی‌ها از نظر محاسباتی سخت است. چون لگاریتم تابعی اکیداً یکنوا است، بیشینه کردن لگاریتم درست‌نمایی ℓ(μ,σ2)\ell(\mu, \sigma^2) همان برآوردهای پارامتری را می‌دهد که بیشینه کردن درست‌نمایی.

ℓ(μ,σ2)=log⁡L(μ,σ2)=∑k=1nlog⁡(12πσ2exp⁡(−(xk−μ)22σ2))=∑k=1n[−12log⁡(2π)−12log⁡(σ2)−(xk−μ)22σ2]=−n2log⁡(2π)−n2log⁡(σ2)−12σ2∑k=1n(xk−μ)2\begin{aligned} \ell(\mu, \sigma^2) &= \log L(\mu, \sigma^2) \\ &= \sum_{k=1}^n \log \left( \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_k - \mu)^2}{2\sigma^2}\right) \right) \\ &= \sum_{k=1}^n \left[ -\frac{1}{2} \log(2\pi) - \frac{1}{2} \log(\sigma^2) - \frac{(x_k - \mu)^2}{2\sigma^2} \right] \\ &= -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{k=1}^n (x_k - \mu)^2 \end{aligned}

3.4 برآورد میانگین (μ\mu)

برای یافتن برآورد بیشترین درست‌نمایی μ^\hat{\mu}، مشتق جزئی ℓ\ell نسبت به μ\mu را می‌گیریم و صفر می‌گذاریم:

∂ℓ∂μ=∑k=1n(xk−μ)σ2=1σ2∑k=1n(xk−μ)=0\frac{\partial \ell}{\partial \mu} = \sum_{k=1}^n \frac{(x_k - \mu)}{\sigma^2} = \frac{1}{\sigma^2} \sum_{k=1}^n (x_k - \mu) = 0

با حل برای μ\mu:

∑k=1nxk−nμ^=0  ⟹  μ^=1n∑k=1nxk\sum_{k=1}^n x_k - n\hat{\mu} = 0 \implies \hat{\mu} = \frac{1}{n} \sum_{k=1}^n x_k

نتیجه: برآورد MLE میانگین همان میانگین نمونه است.

3.5 برآورد واریانس (σ2\sigma^2)

برای یافتن σ^2\hat{\sigma}^2، مشتق جزئی ℓ\ell نسبت به σ2\sigma^2 را می‌گیریم. برای مشتق‌گیری ساده‌تر بگذارید τ=σ2\tau = \sigma^2:

∂ℓ∂τ=−n2τ+12τ2∑k=1n(xk−μ)2=0\frac{\partial \ell}{\partial \tau} = -\frac{n}{2\tau} + \frac{1}{2\tau^2} \sum_{k=1}^n (x_k - \mu)^2 = 0

با ضرب در 2τ22\tau^2:

−nτ+∑k=1n(xk−μ)2=0-n\tau + \sum_{k=1}^n (x_k - \mu)^2 = 0

با جای‌گذاری μ^\hat{\mu} به‌جای μ\mu و τ=σ2\tau = \sigma^2:

σ^2=1n∑k=1n(xk−μ^)2\hat{\sigma}^2 = \frac{1}{n} \sum_{k=1}^n (x_k - \hat{\mu})^2

نتیجه: MLE بر nn تقسیم می‌کند، نه بر n−1n-1. پس σ^2\hat{\sigma}^2 نسخهٔ اریب واریانس نمونه است؛ برآوردگر نااریب s2=1n−1∑k(xk−μ^)2s^2 = \frac{1}{n-1}\sum_k (x_k - \hat{\mu})^2 است (بخش 5).


4. گسترش به گاوسی چندمتغیره

در دسته‌بندی الگو، ویژگی‌ها معمولاً بردارهای x∈Rd\mathbf{x} \in \mathbb{R}^d هستند. استنتاج تک‌متغیره طبیعتاً به توزیع گاوسی چندمتغیره گسترش می‌یابد.

4.1 تابع چگالی

p(x∣μ,Σ)=1(2π)d/2∣Σ∣1/2exp⁡(−12(x−μ)TΣ−1(x−μ))p(\mathbf{x} | \boldsymbol{\mu}, \boldsymbol{\Sigma}) = \frac{1}{(2\pi)^{d/2} |\boldsymbol{\Sigma}|^{1/2}} \exp\left( -\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu}) \right)

4.2 برآوردهای MLE

لگاریتم درست‌نمایی نسخهٔ برداری بیان بخش 3.3 است:

ℓ(μ,Σ)=−n2log⁡(2π)−n2log⁡∣Σ∣−12∑k=1n(xk−μ)TΣ−1(xk−μ).\ell(\boldsymbol{\mu}, \boldsymbol{\Sigma}) = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log |\boldsymbol{\Sigma}| - \frac{1}{2} \sum_{k=1}^n (\mathbf{x}_k - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x}_k - \boldsymbol{\mu}).

چون Σ\boldsymbol{\Sigma} متقارن است و چون ∂∂μaTb=a\frac{\partial}{\partial \boldsymbol{\mu}} \mathbf{a}^T \mathbf{b} = \mathbf{a}، دو مشتق چنین‌اند

∂ℓ∂μ=∑k=1nΣ−1(xk−μ)=0,∂ℓ∂Σ=−n2Σ−1+12Σ−1[∑k=1n(xk−μ)(xk−μ)T]Σ−1=0.\frac{\partial \ell}{\partial \boldsymbol{\mu}} = \sum_{k=1}^n \boldsymbol{\Sigma}^{-1} (\mathbf{x}_k - \boldsymbol{\mu}) = \mathbf{0}, \qquad \frac{\partial \ell}{\partial \boldsymbol{\Sigma}} = -\frac{n}{2} \boldsymbol{\Sigma}^{-1} + \frac{1}{2} \boldsymbol{\Sigma}^{-1} \left[ \sum_{k=1}^n (\mathbf{x}_k - \boldsymbol{\mu})(\mathbf{x}_k - \boldsymbol{\mu})^T \right] \boldsymbol{\Sigma}^{-1} = \mathbf{0}.

معادلهٔ اول بردار میانگین را می‌دهد و جای‌گذاری‌اش در دومی ماتریس کوواریانس را:

  1. بردار میانگین (μ\boldsymbol{\mu}):

    μ^=1n∑k=1nxk\hat{\boldsymbol{\mu}} = \frac{1}{n} \sum_{k=1}^n \mathbf{x}_k

    برآورد MLE همان بردار میانگین نمونه است.

  2. ماتریس کوواریانس (Σ\boldsymbol{\Sigma}):

    Σ^=1n∑k=1n(xk−μ^)(xk−μ^)T\hat{\boldsymbol{\Sigma}} = \frac{1}{n} \sum_{k=1}^n (\mathbf{x}_k - \hat{\boldsymbol{\mu}})(\mathbf{x}_k - \hat{\boldsymbol{\mu}})^T

    برآورد MLE همان ماتریس کوواریانس نمونه است، باز هم با مخرج nn.

4.3 وقتی برآورد وجود ندارد

مجموع بالا ماتریسی d×dd \times d است که از nn ضرب خارجی ساخته می‌شود، پس rank⁡(Σ^)≤min⁡(n,d)\operatorname{rank}(\hat{\boldsymbol{\Sigma}}) \leq \min(n, d). اگر n<dn < d، یا اگر دو ویژگی دقیقاً هم‌خط باشند، Σ^\hat{\boldsymbol{\Sigma}} تکین است و Σ^−1\hat{\boldsymbol{\Sigma}}^{-1} وجود ندارد: چگالی گاوسی، فاصلهٔ ماهالانوبیس و QDA همه تعریف‌نشده می‌شوند. دو چارهٔ استاندارد هست:


5. ویژگی‌ها و محدودیت‌ها

هرچند MLE ابزاری توانمند است، دودا، هارت و استورک چند ویژگی مهم این برآوردها را برجسته می‌کنند، به‌ویژه در بافت دسته‌بندی:

  1. اریبی:

    • برآورد میانگین μ^\hat{\mu} نااریب است.

    • برآورد واریانس σ^2\hat{\sigma}^2 (و Σ^\hat{\boldsymbol{\Sigma}}) اریب است. به‌طور سیستماتیک واریانس واقعی را کم‌برآورد می‌کند چون در مخرج از nn به‌جای n−1n-1 استفاده می‌کند.

    • برآوردگر نااریب: s2=1n−1∑(xk−μ^)2s^2 = \frac{1}{n-1} \sum (x_k - \hat{\mu})^2. ولی برای nn بزرگ تفاوت ناچیز است.

  2. سازگاری:

    • با رفتن تعداد نمونه‌ها n→∞n \to \infty، برآوردهای MLE به مقدارهای واقعی پارامتر همگرا می‌شوند.

  3. ناوردایی:

    • اگر θ^\hat{\theta} برآورد MLE برای θ\theta باشد، آن‌گاه برای هر تابع g(θ)g(\theta)، برآورد MLE برای g(θ)g(\theta) برابر g(θ^)g(\hat{\theta}) است.

  4. حساسیت به داده‌های پرت:

    • چون MLE فرض می‌کند داده از توزیع مشخصی (مثلاً گاوسی) پیروی می‌کند، داده‌های پرت می‌توانند برآورد میانگین و کوواریانس را به‌شدت کج کنند و کارایی دسته‌بندی را کاهش دهند.

6. پیوند با دسته‌بندی بیزی

نقش اصلی MLE در این درس ممکن کردن دسته‌بندی بیزی وقتی پارامترها ناشناخته‌اند است.

6.1 رویکرد «جای‌گذاری»

  1. آموزش: برای هر دستهٔ ωi\omega_i، از دادهٔ آموزش Di\mathcal{D}_i برآوردهای MLE μ^i\hat{\boldsymbol{\mu}}_i و Σ^i\hat{\boldsymbol{\Sigma}}_i را حساب کنید.

  2. ساخت: چگالی شرطی-دستهٔ برآوردشده را بسازید: p^(x∣ωi)=N(x∣μ^i,Σ^i)\hat{p}(\mathbf{x} | \omega_i) = \mathcal{N}(\mathbf{x} | \hat{\boldsymbol{\mu}}_i, \hat{\boldsymbol{\Sigma}}_i).

  3. تصمیم: قاعدهٔ تصمیم بیز را با این چگالی‌های برآوردشده اعمال کنید.

این را دسته‌بند جای‌گذاری‌شده (Plug-In Classifier) می‌نامند. با جای‌گذاری بهترین برآورد پارامترها، دسته‌بند بیز بهینه را تقریب می‌زند.

6.2 اثر بر مرزهای تصمیم

برآوردهای MLE هندسهٔ دسته‌بند را تعیین می‌کنند:


7. پلی به موضوع‌های پیشرفته

MLE به دسته‌بندی سادهٔ گاوسی محدود نیست. موتور بنیادی بسیاری از مدل‌های پیشرفته‌ای است که بعداً می‌بینیم:


8. جمع‌بندی

روش برآورد بیشترین درست‌نمایی رویکردی اصولی برای یادگیری پارامترهای مدل‌های احتمالاتی در یادگیری ماشین می‌دهد.

نکته‌های کلیدی


منابع

Duda et al. (2000)

Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience, chapter 3.

References
  1. Duda, R. O., Hart, P. E., & Stork, D. G. (2000). Pattern Classification (2nd ed.). Wiley-Interscience.