Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

مقدمه

چند نکتهٔ سودمند دربارهٔ یادگیری ماشین محمود امین‌طوسی، پاییز ۱۴۰۵ گروه علوم کامپیوتر، دانشگاه فردوسی مشهد یادآوری می‌کنم که مطالب اولیهٔ این درس از درس باز یادگیری ماشین، نوشتهٔ Joaquin Vanschoren و دیگران گرفته شده است.

English · فارسی
English · فارسی
Source

چرا یادگیری ماشین؟

  • موتورهای جست‌وجو (مثلاً Google)

  • سامانه‌های پیشنهاددهنده (مثلاً Netflix)

  • ترجمهٔ خودکار (مثلاً Google Translate)

  • درک گفتار (مثلاً Siri، Alexa)

  • بازی کردن (مثلاً AlphaGo)

  • خودروهای خودران

  • پزشکی شخصی‌سازی‌شده

  • پیشرفت در همهٔ علوم: ژنتیک، ستاره‌شناسی، شیمی، عصب‌شناسی، فیزیک، …

یادگیری ماشین چیست؟

  • یاد گرفتن انجام یک وظیفه بر پایهٔ تجربه (نمونه‌ها) XX، با کمینه کردن خطای E\mathcal{E}

    • مثلاً تشخیص یک شخص در تصویر، با بیشترین دقت ممکن

  • اغلب می‌خواهیم تابعی (مدلی) ff با پارامترهای مدل θ\theta یاد بگیریم که خروجی درست yy بدهد

y^=fθ(X)\hat{y} = f_{\theta}(X)
argmin⁡θ  E(fθ(X), y)\underset{\theta}{\operatorname{argmin}} \; \mathcal{E}(f_{\theta}(X),\, y)
  • معمولاً بخشی از سامانه‌ای بسیار بزرگ‌تر هستیم که دادهٔ XX را در شکل درست فراهم می‌کند

    • داده باید گردآوری، پاک‌سازی، نرمال‌سازی و از نظر سوگیری بررسی شود، …

سوگیری استقرایی

  • هر مدل فرض‌هایی را رمز می‌کند: سوگیری استقرایی = کلاس فرضیه H\mathcal{H}

    • مدل چه تابع‌هایی را می‌تواند نمایش دهد؟

      • ترکیب واحدهای غیرخطی ساده ← شبکه‌های عصبی

      • قواعد هم‌راستا با محورها ← درخت‌های تصمیم

      • رابطهٔ خطی / جمعی ← مدل‌های خطی

      • نمونه‌محور (تنبل) ← k نزدیک‌ترین همسایه

      • حاشیه‌محور + هسته ← SVM

      • مدل‌های مولد احتمالاتی ← Naive Bayes، GMM

    • مدل‌های احتمالاتی ممکن است فرض‌های توزیعی هم روی داده یا نوفه بگذارند (مثلاً X∼N(μ,σ)X \sim \mathcal{N}(\mu,\sigma)، نوفهٔ گاوسی)

      • این‌ها فرض‌های مولد هستند — دربارهٔ P(X)P(X) یا P(X∣y)P(X|y)، نه دربارهٔ ff

      • برای مدل‌های تفکیکی لازم نیستند (مثلاً SVM چنین فرضی ندارد)

  • دو سطح متمایز از «چیزهایی که انتخاب می‌کنیم، نه یاد می‌گیریم»:

    • کلاس مدل H\mathcal{H} = سوگیری استقرایی (با مقایسهٔ مدل‌ها انتخاب می‌شود)

    • ابرپارامترها bb = ظرفیت درون H\mathcal{H} (روی مجموعهٔ اعتبارسنجی تنظیم می‌شود)

      • مثلاً عمق درخت، معماری شبکه، قدرت تنظیم‌کننده

  • می‌توان دانش را از وظیفه‌های پیشین هم انتقال داد: f1,f2,⋯⟹fnewf_1, f_2, \dots \Longrightarrow f_{\text{new}}

    • سوگیری استقرایی یادگرفته: پیش‌آموزش، تنظیم دقیق، بازاستفادهٔ ویژگی

    • بازاستفاده از θ\theta یادگرفته‌شده به‌عنوان مقدار اولیه

  • به کوتاهی (یک مسئلهٔ دوسطحی):

    θ∗(b,H)=argmin⁡θ  Ltrain(fθ,b,H(Xtrain),ytrain)\theta^*(b,\mathcal{H}) = \underset{\theta}{\operatorname{argmin}} \; \mathcal{L}_{\text{train}}(f_{\theta,b,\mathcal{H}}(X_{\text{train}}), y_{\text{train}})
    (b∗,H∗)=argmin⁡b,H  Eval(fθ∗(b,H),b,H(Xval),yval)(b^*,\mathcal{H}^*) = \underset{b,\mathcal{H}}{\operatorname{argmin}} \; \mathcal{E}_{\text{val}}(f_{\theta^*(b,\mathcal{H}),b,\mathcal{H}}(X_{\text{val}}), y_{\text{val}})

یادگیری ماشین در برابر آمار

دو فرهنگ

  • هر دو هدفشان پیش‌بینی پدیده‌های طبیعی است:

  • آمار:

    • کمک به انسان برای فهم جهان

    • فرض اینکه داده بر اساس مدلی فهم‌پذیر تولید شده است

  • یادگیری ماشین:

    • خودکارسازی کامل یک وظیفه (تا حدی جانشینی انسان)

    • فرض اینکه فرایند تولید داده نامعلوم است

    • مهندسی‌محور، با نظریهٔ ریاضی کمتر (شاید خیلی کم)

انواع یادگیری ماشین

  • یادگیری با نظارت: یاد گرفتن یک مدل ff از دادهٔ برچسب‌دار (X,y)(X,y) (حقیقت‌مبنا)

    • با ورودی تازهٔ X، خروجی درست y را پیش‌بینی کن

    • با نمونه‌هایی از ستاره‌ها و کهکشان‌ها، اجرام تازه در آسمان را شناسایی کن

  • یادگیری بی‌نظارت: کاوش ساختار داده (X) برای استخراج اطلاعات معنادار

    • با ورودی‌های X، پیدا کن کدام‌ها خاص، مشابه یا ناهنجارند، …

  • یادگیری نیمه‌نظارتی: یاد گرفتن مدل از نمونه‌های برچسب‌دار (کم) و بی‌برچسب (زیاد)

    • نمونه‌های بی‌برچسب اطلاعاتی دربارهٔ این می‌افزایند که کدام نمونه‌های تازه احتمالاً رخ می‌دهند

  • یادگیری تقویتی: ساختن عاملی که کارکردش را بر پایهٔ تعامل با محیط بهتر می‌کند

توجه: سامانه‌های عملی یادگیری ماشین می‌توانند چند نوع را در یک سامانه ترکیب کنند.

یادگیری ماشین با نظارت

  • یاد گرفتن مدل از دادهٔ آموزش برچسب‌دار و بعد پیش‌بینی کردن

  • با نظارت: نتیجهٔ درست/مطلوب (برچسب) را می‌دانیم

  • زیرشاخه‌ها: دسته‌بندی (پیش‌بینی یک دسته) و رگرسیون (پیش‌بینی یک مقدار عددی)

  • بیشتر الگوریتم‌های با نظارتی که خواهیم دید هر دو را انجام می‌دهند

ml

دسته‌بندی

  • پیش‌بینی یک برچسب دسته (مقوله)، گسسته و بی‌ترتیب

    • می‌تواند دودویی (مثلاً هرزنامه/غیرهرزنامه) یا چنددسته‌ای (مثلاً بازشناسی حرف) باشد

    • بسیاری از دسته‌بندها می‌توانند برای هر دسته یک اطمینان برگردانند

  • پیش‌بینی‌های مدل یک مرز تصمیم می‌سازند که دسته‌ها را جدا می‌کند

Source
Loading...
Loading...
Source
مثال: دسته‌بندی گل

دسته‌های گل زنبق را دسته‌بندی کنید (setosa، versicolor یا virginica). چگونه این کار را می‌کنید؟

ml
نمایش: ویژگی‌های ورودی و برچسب‌ها
  • می‌توانستیم عکس بگیریم و آن‌ها را (مقدار پیکسل‌ها) به‌عنوان ورودی استفاده کنیم (← یادگیری عمیق)

  • می‌توانیم دستی چند ویژگی ورودی تعریف کنیم (متغیرها)، مثلاً طول و عرض برگ‌ها

  • هر نمونه نقطه‌ای در فضایی (احتمالاً با ابعاد بالا) است

ml ml

رگرسیون

  • پیش‌بینی یک مقدار پیوسته، مثلاً دما

    • متغیر هدف عددی است

    • برخی الگوریتم‌ها می‌توانند یک بازهٔ اطمینان برگردانند

  • یافتن رابطهٔ میان پیش‌بین‌ها و متغیر هدف.

Source
Loading...
Loading...
Source

یادگیری ماشین بی‌نظارت

  • دادهٔ بی‌برچسب، یا داده با ساختار نامعلوم

  • کاوش ساختار داده برای استخراج اطلاعات

  • انواع زیادی دارد، فقط دو نوع را بررسی می‌کنیم.

خوشه‌بندی

  • سازمان دادن اطلاعات به زیرگروه‌های معنادار (خوشه‌ها)

  • اشیای یک خوشه درجه‌ای از شباهت دارند (و عدم شباهت به خوشه‌های دیگر)

  • مثال: تمایز انواع مختلف مشتری

Source
Loading...
Loading...
Source

کاهش بُعد

  • داده می‌تواند با ابعاد بسیار بالا و سخت برای فهمیدن، یادگیری و ذخیره کردن باشد، …

  • کاهش بُعد می‌تواند داده را به ابعاد کمتر فشرده کند، در حالی که بیشتر اطلاعات حفظ شود

  • برخلاف انتخاب ویژگی، ویژگی‌های تازه معنای (اصلی) خود را از دست می‌دهند

  • نمایش تازه می‌تواند بسیار ساده‌تر مدل‌سازی (و تجسم) شود

Source
Loading...

یادگیری تقویتی

  • ساختن عاملی که کارکردش را بر پایهٔ تعامل با محیط بهتر می‌کند

    • مثال: بازی‌هایی مثل شطرنج، Go، …

  • جست‌وجو در فضای (بزرگی از) کنش‌ها و حالت‌ها

  • تابع پاداش تعیین می‌کند یک (رشته از) کنش‌ها چقدر خوب کار می‌کند

  • یاد گرفتن رشته‌ای از کنش‌ها (سیاست) که پاداش را با کاوش بیشینه می‌کند

ml

یادگیری = نمایش + ارزیابی + بهینه‌سازی

همهٔ الگوریتم‌های یادگیری ماشین از 3 جزء تشکیل شده‌اند:

  • نمایش: مدل fθf_\theta باید در زبانی صوری نمایش یابد که رایانه بفهمد

    • «مفهوم‌هایی» را که می‌تواند یاد بگیرد تعیین می‌کند: فضای فرضیه H\mathcal{H}

    • مثلاً درخت‌های تصمیم، شبکه‌های عصبی، نمونه‌محور (k-NN)، مدل‌های خطی

  • ارزیابی: راهی درونی برای ترجیح یک فرضیه بر دیگری

    • تابع هزینهٔ L(fθ(X),y)\mathcal{L}(f_\theta(X), y) که کمینه می‌کنیم (اغلب با تنظیم‌کننده: L+λR(θ)\mathcal{L} + \lambda R(\theta))

    • متمایز از سنجهٔ وظیفه E\mathcal{E} (مثلاً دقت، F1) که گزارش می‌کنیم

    • مثلاً اختلاف خروجی درست yy و پیش‌بینی y^\hat{y}

  • بهینه‌سازی: راهی کارا برای جست‌وجو در فضای فرضیه

    • راهبردها متفاوت‌اند: بهینه‌سازی محدب (خطی، SVM)، رشد حریصانه (درخت، boosting)، گرادیان کاهشی (شبکه‌های عصبی)، تنبل / بدون بهینه‌سازی (k-NN)

    • از یک فرضیهٔ اولیه شروع می‌کند و آن را پالایش (یا گام‌به‌گام رشد) می‌دهد

    • روش‌های زیاد، با تفاوت در سرعت، تعداد بهینه و تضمین‌ها

  • مدل قدرتمند تنها وقتی سودمند است که بتوان آن را به‌طور کارا نمایش، ارزیابی و بهینه کرد — این سه جزء باید متوازن باشند.

شبکه‌های عصبی: نمایش

شبکه‌های عصبی را نمونه بگیریم

  • نمایش: یک شبکهٔ عصبی (لایه‌ای) fθf_{\theta}

    • هر اتصال یک وزن θi\theta_i دارد (که پارامتر مدل هم نامیده می‌شود)

    • هر گره ورودی‌های وزن‌دار می‌گیرد، یک فعال‌ساز غیرخطی اعمال می‌کند و مقدار تازه می‌فرستد

    • مدل fθf_\theta خروجی آخرین لایه را برمی‌گرداند

  • معماری (تعداد لایه‌ها، تعداد/نوع نورون‌ها) ثابت است

    • این‌ها را ابرپارامتر می‌نامیم (کاربر تعیین می‌کند، در آموزش ثابت می‌ماند)

A basic neural network architecture

شبکه‌های عصبی: ارزیابی و بهینه‌سازی

  • نمایش: با ساختار داده‌شده، مدل کاملاً با پارامترهایش θ\theta توصیف می‌شود

    • شبکهٔ کوچکی با دو وزن (θ0,θ1)(\theta_0, \theta_1) را تصور کنید: فضای جست‌وجوی دوبعدی

  • ارزیابی: تابع هزینهٔ L(fθ(X),y)\mathcal{L}(f_\theta(X), y) می‌سنجد پیش‌بینی‌ها چقدر با هدف‌ها می‌خوانند

    • روی مجموعه‌ای از دادهٔ آموزش با پیش‌بینی‌های «درست» برآورد می‌شود

    • سطح کامل هزینه را نمی‌توانیم ببینیم — فقط مجموعه‌های خاصی از پارامترها را می‌توانیم ارزیابی کنیم

  • بهینه‌سازی: یافتن مجموعهٔ پارامتر θ∗\theta^* که L\mathcal{L} را کمینه می‌کند

    • معمولاً نوعی جست‌وجو در فضای فرضیه

    • مثلاً گرادیان کاهشی (به‌روزرسانی هم‌زمان همهٔ پارامترها):

      θi←θi−η ∂L∂θi,∀i\theta_i \leftarrow \theta_i - \eta \, \frac{\partial \mathcal{L}}{\partial \theta_i}, \quad \forall i
Searching the loss surface

بیش‌برازش و کم‌برازش

  • ساختن مدلی پیچیده که روی دادهٔ آموزش 100٪ درست است ولی روی دادهٔ تازه بسیار بد، آسان است

  • بیش‌برازش: ساختن مدلی بسیار پیچیده برای مقدار دادهٔ در دسترس

    • مدل، ویژگی‌های عجیب دادهٔ آموزش (نوفه، سوگیری‌ها، …) را یاد می‌گیرد

    • حل: ساده‌تر کردن مدل (تنظیم‌کننده) یا دادهٔ بیشتر

    • بیشتر الگوریتم‌ها ابرپارامتری دارند که تنظیم‌کنندگی را ممکن می‌کند

  • کم‌برازش: ساختن مدلی بسیار ساده به‌نسبت پیچیدگی داده

    • مدل پیچیده‌تری به کار ببرید

  • روش‌هایی برای تشخیص بیش‌برازش هست (مثلاً تحلیل بایاس–واریانس). بعداً بیشتر

  • می‌توانید مجموعه‌هایی از مدل‌های زیاد بسازید تا هم کم‌برازش و هم بیش‌برازش را بپوشانید

  • اغلب یک نقطهٔ بهینه وجود دارد که باید با بهینه کردن انتخاب الگوریتم‌ها و ابرپارامترها، یا با دادهٔ بیشتر، پیدا شود.

  • مثال: رگرسیون با توابع چندجمله‌ای

Source
Loading...
Loading...
Loading...
Loading...
Source

انتخاب مدل

  • در کنار تابع هزینهٔ (درونی) به یک تابع ارزیابی (بیرونی) نیاز داریم

    • سیگنال بازخورد: آیا واقعاً چیز درست را یاد می‌گیریم؟

      • آیا کم‌برازش/بیش‌برازش داریم؟

    • با دقت چنان انتخاب شود که با کاربرد بخواند.

    • برای انتخاب میان مدل‌ها (و تنظیم ابرپارامترها) لازم است

© XKCD ml

  • داده باید به مجموعهٔ آموزش و آزمون تقسیم شود

    • پارامترهای مدل را روی مجموعهٔ آموزش بهینه کنید، روی مجموعهٔ آزمونِ مستقل ارزیابی کنید

  • از نشت داده بپرهیزید:

    • هرگز ابرپارامترها را روی دادهٔ آزمون بهینه نکنید

    • هرگز تکنیک‌های پیش‌پردازش را بر اساس دادهٔ آزمون انتخاب نکنید

  • برای بهینه کردن ابرپارامترها و پیش‌پردازش هم، بخشی از مجموعهٔ آموزش را به‌عنوان مجموعهٔ اعتبارسنجی کنار بگذارید

    • مجموعهٔ آزمون را در همهٔ مرحلهٔ آموزش پنهان نگه دارید

Source
Loading...
  • برای یک تنظیم ابرپارامتر، پارامترهای مدل را روی مجموعهٔ آموزش یاد بگیرید

    • هزینه را کمینه کنید

  • مدل آموزش‌دیده را روی مجموعهٔ اعتبارسنجی ارزیابی کنید

    • ابرپارامترها را طوری تنظیم کنید که سنجهٔ مشخصی (مثلاً دقت) بیشینه شود

ml

فقط تعمیم اهمیت دارد!

  • هرگز مدل‌های نهایی را روی دادهٔ آموزش ارزیابی نکنید، مگر برای:

    • پیگیری همگرایی بهینه‌ساز (منحنی‌های یادگیری)

    • تشخیص کم‌برازش/بیش‌برازش:

      • امتیاز کم آموزش و آزمون: کم‌برازش

      • امتیاز بالای آموزش، امتیاز کم آزمون: بیش‌برازش

  • همیشه یک مجموعهٔ آزمون کاملاً مستقل نگه دارید

  • روی مجموعه‌داده‌های کوچک، از چند تقسیم آموزش–آزمون استفاده کنید تا سوگیری نمونه‌برداری کم شود

    • ممکن است به‌طور تصادفی مجموعهٔ آزمون «آسانی» نمونه‌برداری کنید

    • مثلاً از اعتبارسنجی متقاطع استفاده کنید (بعداً)

نمایش دادهٔ بهتر، مدل بهتر

  • الگوریتم باید ورودی‌ها را درست به خروجی‌های درست تبدیل کند

  • خیلی چیز به این بستگی دارد که داده را چگونه به الگوریتم نشان می‌دهیم

    • تبدیل داده به نمایشی بهتر (که کدگذاری یا جاسازی نامیده می‌شود)

    • می‌تواند سرتاسری انجام شود (مثلاً یادگیری عمیق) یا با «پیش‌پردازش» اولیهٔ داده (مثلاً انتخاب/تولید ویژگی)

ml

مهندسی ویژگی

  • بیشتر تکنیک‌های یادگیری ماشین نیاز دارند انسان نمایش خوبی از داده بسازد

  • به‌ویژه وقتی داده به‌طور طبیعی ساختاریافته است (مثلاً جدولی با ستون‌های معنادار)

  • مهندسی ویژگی اغلب هنوز برای بهترین نتیجه لازم است

    • انتخاب ویژگی، کاهش بُعد، مقیاس‌بندی، …

    • یادگیری ماشین کاربردی اساساً مهندسی ویژگی است (Andrew Ng)

  • هیچ چیز به پای دانش حوزه (وقتی در دسترس است) برای رسیدن به نمایش خوب نمی‌رسد

    • مثلاً دادهٔ Iris: طول/عرض برگ دسته‌ها را خوب جدا می‌کند

پیش‌نمونه‌ها را زود بسازید

یاد گرفتن تبدیل‌های داده به‌صورت سرتاسری

  • برای دادهٔ بی‌ساختار (مثلاً تصویر، متن)، استخراج ویژگی خوب سخت است

  • یادگیری عمیق: نمایش (جاسازی) خودتان از داده را یاد بگیرید

    • از راه چند لایهٔ نمایش (مثلاً لایه‌های نورون)

    • هر لایه داده را کمی دگرگون می‌کند، بر اساس آنچه خطا را کم می‌کند

ml

مثال: دسته‌بندی رقم

  • پیکسل‌های ورودی وارد می‌شوند و هر لایه آن‌ها را به نمایشی آگاهی‌بخش‌تر برای وظیفهٔ داده‌شده تبدیل می‌کند

  • اغلب برای انسان کم‌شهودتر است

ml

نفرین ابعاد

  • فقط افزودن ویژگی‌های زیاد و واگذاشتن کار به مدل جواب نمی‌دهد

  • فرض‌های ما (سوگیری‌های استقرایی) در ابعاد بالا اغلب می‌شکنند:

    • نقطه‌ها را به‌طور تصادفی در فضایی n-بعدی نمونه بگیرید (مثلاً ابرمکعب یکه)

    • تقریباً همهٔ نقطه‌ها در لبهٔ فضا پرت می‌شوند

    • فاصلهٔ هر دو نقطه تقریباً یکسان می‌شود

Source
Loading...

پیامدهای عملی

  • برای هر بُعد (ویژگی) که می‌افزایید، به داده‌ای به‌طور نمایی بیشتر نیاز دارید تا تُنُکی پیش نیاید

  • هر الگوریتمی را که بر فاصله استوار است تحت تأثیر می‌گذارد (مثلاً kNN، SVM، روش‌های هسته، روش‌های درختی، …)

  • برکت نامتوازنی: در بسیاری از کاربردها داده در زیرفضایی بسیار کوچک زندگی می‌کند

    • با انتخاب ویژگی یا استفاده از نمایش‌های کم‌بعد می‌توانید کارکرد را به‌شدت بهتر کنید

«دادهٔ بیشتر می‌تواند الگوریتم باهوش‌تر را شکست دهد»

(ولی به هر دو نیاز دارید)

  • دادهٔ نماینده‌تر احتمال بیش‌برازش را کم می‌کند

  • دادهٔ بیشتر نفرین ابعاد را تخفیف می‌دهد: همان تعداد نقطه در فضای ویژگی با ابعاد بالا متراکم‌تر می‌شوند

  • مدل‌های ناپارامتری: تعداد مؤثر پارامترها با داده رشد می‌کند

    • روش‌های درختی، k نزدیک‌ترین همسایه، روش‌های هسته، …

    • تقریب‌زنندهٔ جهانی: با دادهٔ کافی می‌توانند تابع‌های پیچیده‌تر را برازش دهند

  • مدل‌های پارامتری (با اندازهٔ ثابت): تعداد ثابتی پارامتر مدل

    • مدل‌های خطی، شبکه‌های عصبی با معماری ثابت، …

    • ظرفیت را می‌توان بالا برد (میلیون‌ها وزن) تا از دادهٔ بیشتر سود ببرد

    • شبکه‌های عمیق تقریباً هر تابعی را می‌توانند تقریب بزنند، ولی آموزش ممکن است از کمینه‌های محلی / بهینه‌سازی غیرمحدب رنج ببرد

  • الگوریتم‌ها هنوز مهم‌اند: سوگیری استقرایی بهتر (فرض‌های هم‌خوان با ساختار داده) کارایی نمونه بالاتری می‌دهد — مدل با دادهٔ کمتر به همان دقت می‌رسد. همین دلیل برتری CNN بر MLP در تصویر است، و همین دلیل انتقال سوگیری‌های سودمند با پیش‌آموزش به وظیفه‌های کم‌داده.

  • گلوگاه از داده به توان محاسباتی/مقیاس‌پذیری جابه‌جا می‌شود

ساختن سامانه‌های یادگیری ماشین

یک سامانهٔ معمول یادگیری ماشین چند جزء دارد که در درس‌های آینده می‌بینیم:

  • پیش‌پردازش: دادهٔ خام به‌ندرت برای یادگیری آرمانی است

    • مقیاس‌بندی ویژگی: آوردن مقدارها به یک بازه

    • کدگذاری: عددی کردن ویژگی‌های مقوله‌ای

    • گسسته‌سازی: مقوله‌ای کردن ویژگی‌های عددی

    • اصلاح نامتوازنی برچسب (مثلاً نمونه‌کاهی)

    • انتخاب ویژگی: حذف ویژگی‌های بی‌ربط/همبسته

    • کاهش بُعد هم می‌تواند یادگیری داده را ساده‌تر کند

    • استفاده از جاسازی‌های از پیش یادگرفته (مثلاً word-to-vector، image-to-vector)

  • یادگیری و ارزیابی

    • هر الگوریتم سوگیری‌های خودش را دارد

    • هیچ الگوریتم واحدی همیشه بهترین نیست

    • انتخاب مدل مدل‌های بهتر را مقایسه و انتخاب می‌کند

      • الگوریتم‌های مختلف، تنظیم‌های مختلف ابرپارامتر

    • داده را به مجموعه‌های آموزش، اعتبارسنجی و آزمون تقسیم کنید

  • پیش‌بینی

    • مدل نهاییِ بهینه‌شده را می‌توان برای پیش‌بینی به کار برد

    • کارکرد انتظاری، کارکرد اندازه‌گیری‌شده روی مجموعهٔ آزمونِ مستقل است

  • این‌ها با هم یک گردش‌کار یا خط لوله می‌سازند

    • خط لوله = زنجیرهٔ خطی و خودکار (مثلاً sklearn Pipeline)

    • گردش‌کار = چرخهٔ عمر گسترده‌تر شامل انسان، نسخه‌بندی و پایش

  • AutoML برای ساختن و تنظیم این خطوط لوله وجود دارد

    • مسئلهٔ CASH (انتخاب الگوریتم و بهینه‌سازی ابرپارامتر به‌طور هم‌زمان)

    • روش‌ها: بهینه‌سازی بیزی، Hyperband، NAS، ترکیب خط لوله (TPOT)

    • AutoML تخصص را مقیاس می‌دهد؛ جانشین آن نمی‌شود

  • باید خطوط لوله را به‌طور پیوسته بهینه کنید — مدل هیچ‌وقت «تمام» نمی‌شود

    • رانش مفهوم: P(Y|X) با زمان عوض می‌شود (ناگهانی / تدریجی / بازگشتی)

      • متمایز از جابه‌جایی هم‌وردا (که فقط P(X) عوض می‌شود)

    • حلقه‌های بازخورد: پیش‌بینی‌ها دادهٔ آینده را شکل می‌دهند (پیش‌بینی اجرایی)

      • حلقه‌های خودتقویت‌کننده (پیشنهاددهنده‌ها، پلیس پیش‌بینی‌کننده، پزشکی) ← تشدید سوگیری

      • تخفیف: آزمون A/B، کاوش، ارزیابی پادواقعی

ml

جمع‌بندی

  • الگوریتم‌های یادگیری سه جزء دارند:

    • نمایش: مدل fθf_\theta که ورودی XX را به پیش‌بینی y^\hat{y} می‌نگارد

      • پارامترهای مدل θ\theta با داده برازش می‌شوند

    • تابع هزینهٔ L(fθ(X),y)\mathcal{L}(f_\theta(X), y): می‌سنجد پیش‌بینی‌ها چقدر با هدف‌ها می‌خوانند

    • بهینه‌سازی: θ∗=argmin⁡θ  L(fθ(X),y)\theta^* = \underset{\theta}{\operatorname{argmin}} \; \mathcal{L}(f_\theta(X), y)

  • انتخاب مدل یک مسئلهٔ دوسطحی است:

    • حلقهٔ درونی: برازش θ\theta روی دادهٔ آموزش θ∗(b)=argmin⁡θ  Ltrain(fθ,b(Xtrain),ytrain)\theta^*(b) = \underset{\theta}{\operatorname{argmin}} \; \mathcal{L}_{\text{train}}(f_{\theta,b}(X_{\text{train}}), y_{\text{train}})

    • حلقهٔ بیرونی: انتخاب ابرپارامترهای bb روی دادهٔ اعتبارسنجی b∗=argmin⁡b  Eval(fθ∗(b),b(Xval),yval)b^* = \underset{b}{\operatorname{argmin}} \; \mathcal{E}_{\text{val}}(f_{\theta^*(b),b}(X_{\text{val}}), y_{\text{val}})

    • سوگیری استقرایی: فرض‌ها دربارهٔ کلاس مدل (خطی‌بودن، محلی‌بودن، هم‌وردایی)؛ ابرپارامترها ظرفیت درون آن کلاس را کنترل می‌کنند

    • L\mathcal{L} جانشین (مشتق‌پذیر)ی است که بهینه می‌کنیم؛ E\mathcal{E} سنجهٔ وظیفه‌ای است که گزارش می‌کنیم (مثلاً دقت)

  • بیش‌برازش: خطای آموزش کم، خطای آزمون زیاد

    • تقسیم به (چند) تقسیم آموزش–اعتبارسنجی–آزمون؛ مجموعهٔ آزمون را فقط یک بار لمس کنید

    • تنظیم‌کننده (L1/L2، dropout، توقف زودهنگام): پیچیدگی را جریمه می‌کند؛ قدرتش ابرپارامتری است که روی اعتبارسنجی تنظیم می‌شود

    • دادهٔ بیشتر، افزون‌سازی داده، انتخاب ویژگی، مجموعه‌ها

  • کم‌برازش: خطای آموزش و آزمون بالا — مدل بسیار ساده است؛ ظرفیت را بالا ببرید یا ویژگی‌ها را بهتر کنید

  • خطوط لولهٔ یادگیری ماشین: پیش‌پردازش + یادگیری + استقرار + پایش