Skip to article frontmatterSkip to article content
Site not loading correctly?

This may be due to an incorrect BASE_URL configuration. See the MyST Documentation for reference.

Seminar Framing and Closing Notes — Instructor

برگه قاب‌بندی و جمع‌بندی سمینارها

درس یادگیری ماشین — پاییز ۲۰۲۶ · ویژه مدرس

برای هر شش موضوع، دو چیز آماده است: قاب‌بندی در آغاز جلسه سمینار (۱۰ دقیقه؛ برای سوگیری–واریانس ۲۰ دقیقه) و جمع‌بندی سطح امتحان در پایان آن (۵ دقیقه). هر دو با شماست، نه با دانشجو. هدف قاب‌بندی این است که شنونده بداند «چرا این موضوع اینجاست و از او چه می‌خواهم»؛ هدف جمع‌بندی این است که بعد از یک ساعت ارائه، سه جمله قابل امتحان در ذهن بماند.

قالب هر قاب‌بندی (۱۰ دقیقه): ۳′ انگیزه با یک عدد · ۳′ جایگاه در سرفصل و پیوند با جلسات قبل/بعد · ۲′ آنچه در امتحان می‌خواهم · ۲′ پرسشی که ارائه باید پاسخ دهد.

قاعده: در قاب‌بندی جواب ندهید. سؤال را روی تخته بنویسید و بگذارید ارائه‌دهنده به آن برسد.


۱. سوگیری–واریانس — س۱، شنبه ۳۰ آبان ۱۴۰۵ (۲۱ نوامبر ۲۰۲۶)

چرا ۲۰ دقیقه: این موضوع پیش‌نیاز ذهنی نیمه دوم درس است. اگر اینجا لنگ بزند، جلسات مدل‌سازی و تنظیم ابرپارامتر معنا پیدا نمی‌کنند.

قاب‌بندی

  1. ۳′ عدد. یک چندجمله‌ای درجه ۹ روی ۲۰ نقطه نویزی: خطای آموزش تقریباً صفر، خطای آزمون چند برابر مدل درجه ۳. هر دو عدد را نشان دهید و بپرسید: «کدام مدل بهتر است؟» — پاسخ «بستگی دارد به ...» همان چیزی است که این جلسه پر می‌کند.

  2. ۸′ استنتاج روی تخته. با Y=f(X)+εY=f(X)+\varepsilon و x0x_0 ثابت:

    E[(y0−f^(x0))2]=(f^‾(x0)−f(x0))2⏟bias2+Var⁡(f^(x0))⏟variance+σε2⏟noiseE\big[(y_0-\hat f(x_0))^2\big]=\underbrace{\big(\overline{\hat f}(x_0)-f(x_0)\big)^2}_{\text{bias}^2} +\underbrace{\operatorname{Var}\big(\hat f(x_0)\big)}_{\text{variance}}+\underbrace{\sigma_\varepsilon^2}_{\text{noise}}

    تأکید: انتظار روی بازآموزی‌های مختلف از مجموعه آموزش گرفته می‌شود، نه روی نوسان یک مدل.

  3. ۴′ دو حالت خاص. kkNN: واریانس =σ2/k=\sigma^2/k و سوگیری از میانگین‌گیری محلی می‌آید؛ kk تنها اهرم است. ridge: سوگیری مدل در برابر سوگیری برآورد.

  4. ۵′ انتظار امتحانی و پرسش. «تجزیه را بنویسید و هر جمله را با یک مثال توضیح دهید. چرا در طبقه‌بندی این تجزیه برقرار نیست؟ اگر kkNN را با kk بزرگ‌تر ببرید، واریانس چه می‌شود و چرا؟»

طرح تخته

        err
         |\                    <- واریانس
         | \      ___________  <- سوگیری^2
         |  \____/
         |   \  /  کل = bias^2 + var + sigma^2
         +--------------------- پیچیدگی

جمع‌بندی (۵′، پایان S4)

  • سه جمله با سه جهت متفاوت: افزایش ظرفیت سوگیری را کم و واریانس را زیاد می‌کند؛ نویز ثابت است.

  • واریانس در kkNN دقیقاً σ2/k\sigma^2/k است — این تنها جایی در درس که تجزیه را می‌توان عددی و بدون شبیه‌سازی دید.

  • در طبقه‌بندی با خطای ۰–۱ تجزیه برقرار نیست؛ فقط برای خطای مربعی (و احتمال‌ها) معنا دارد.

  • اشتباه رایج: «واریانس = خطای آزمون منهای خطای آموزش». آن تفاوت optimism است، نه واریانس.


۲. درخت تصمیم و هرس — س۲، شنبه ۷ آذر (۲۸ نوامبر ۲۰۲۶)

قاب‌بندی

  1. ۳′ عدد. یک درخت بدون محدودیت روی ۳۰۰ نقطه دوبعدی با نویز: دقت آموزش ۱۰۰٪، مرزهای جزیره‌ای بی‌معنا. همان درخت با max_depth=3 روی همان داده: آموزش ۹۲٪، آزمون بهتر.

  2. ۳′ جایگاه. این تنها الگوریتم درس است که مرز تصمیم را به شکل «قاعده اگر–آنگاه» می‌دهد و پیچیدگی‌اش را می‌توان با یک عدد (α\alpha) دقیقاً کنترل کرد؛ به همین دلیل پایه ترکیب مدل‌ها در جلسه بعد است.

  3. ۲′ انتظار امتحانی. «Gini و آنتروپی را محاسبه کنید، برش درست را انتخاب کنید، و توضیح دهید هرس هزینه–پیچیدگی چه چیزی را کمینه می‌کند.»

  4. ۲′ پرسش. «اگر درخت کامل به خلوص می‌رسد و آموزش ۱۰۰٪ است، چرا آن را هرس می‌کنیم؟ چه چیزی را از دست می‌دهیم و چه چیزی به دست می‌آوریم؟»

طرح تخته

R(T) + alpha|T|
 ^         ^
 |         هزینه پیچیدگی: هر برگ یک جریمه
 خطای آموزش (یا نرخ خطای وزن‌دار)

جمع‌بندی (۵′)

  • انتخاب برش حریصانه است: درخت بهینه سراسری نیست، و همین سادگی دلیل سرعت و پایداری آن است.

  • رشد بدون هرس = واریانس بالا؛ ccp_alpha اهرم تنظیم است و با CV انتخاب می‌شود، دقیقاً مثل هر ابرپارامتر دیگری.

  • اشتباه رایج: هرس را «حذف شاخه‌های کم‌اهمیت» به‌صورت شهودی دانستن. هرس یعنی کمینه‌سازی یک تابع هزینه که خطا و تعداد برگ را با هم می‌سنجد.

  • پل به جلسه بعد: چون پیچیدگی درخت را می‌توان با یک عدد کنترل کرد، می‌توان صدها درخت ساخت و میانگین گرفت؛ این شروع ترکیب مدل‌هاست.


۳. ترکیب مدل‌ها — س۳، شنبه ۱۴ آذر (۵ دسامبر ۲۰۲۶)

قاب‌بندی

  1. ۳′ عدد. ۱۰۰ درخت که هر کدام ۷۰٪ دقت دارند، با هم ۸۵٪ می‌دهند. همین ۱۰۰ درخت اگر همه از یک داده و یک ویژگی ساخته شوند، شاید ۷۱٪ بدهند. تفاوت در تنوع است، نه در تعداد.

  2. ۳′ جایگاه. این جلسه جواب «چرا مدل‌های ضعیف را جمع کنیم؟» است و به BV هفته ۲ وصل است: bagging واریانس را کم می‌کند، boosting سوگیری را.

  3. ۲′ انتظار امتحانی. «تفاوت bagging و boosting را با تجزیه BV توضیح دهید؛ نقش OOB و اهمیت ویژگی را بگویید.»

  4. ۲′ پرسش. «چرا زیادکردن تعداد درخت در جنگل تصادفی بیش‌برازش نمی‌دهد، ولی زیادکردن دورهای boosting می‌دهد؟»

طرح تخته

var(avg) = rho*sigma^2 + (1-rho)/B * sigma^2
           ^^^^^^^^^^     ^^^^^^^^^^^^^^^
           سقف با rho     با B کوچک می‌شود

جمع‌بندی (۵′)

  • bagging واریانس را کم می‌کند و سقف آن با کاهش همبستگی درخت‌ها پایین می‌آید؛ کار تصادفی‌سازی ویژگی در جنگل تصادفی همین است.

  • boosting سوگیری را کم می‌کند و به همین دلیل به نرخ یادگیری کوچک و کنترل تعداد دورها نیاز دارد.

  • اشتباه رایج: «مدل پیچیده‌تر یا تعداد بیشتر همیشه بهتر است». در bagging بله (تا حدی)، در boosting نه.


۴. نظریه یادگیری و بُعد VC — س۴، شنبه ۲۱ آذر (۱۲ دسامبر ۲۰۲۶)

قاب‌بندی

  1. ۳′ عدد. یک شبکه با 106 پارامتر روی ۵۰ هزار نمونه آموزش می‌بیند و تعمیم هم می‌دهد. کران‌های کلاسیک می‌گویند نباید. این تنش، کل انگیزه این جلسه است.

  2. ۳′ جایگاه. تا اینجا «چرا» را تجربی گفتیم (CV، BV). این جلسه می‌گوید چه چیزی از نظر ریاضی تضمین می‌شود و چرا آن تضمین‌ها اغلب شرط کافی‌اند، نه لازم.

  3. ۲′ انتظار امتحانی. «dVCd_{VC} را برای دو کلاس فرضیه حساب کنید؛ بگویید کران تعمیم با NN و dVCd_{VC} چه رفتاری دارد؛ و توضیح دهید چرا کران سست است.»

  4. ۲′ پرسش. «اگر کران را با تعداد پارامتر عوض کنیم، چه چیزی را از دست می‌دهیم؟»

طرح تخته

err_test  <=  err_train  +  O( sqrt( d_VC / N ) )   (به‌طور تقریبی)
                 ^               ^
                 قابل اندازه‌گیری ثابت مدل، مستقل از داده

جمع‌بندی (۵′)

  • dVCd_{VC} ظرفیت را می‌سنجد، نه تعداد پارامتر را؛ برای نیم‌فضا در Rd\mathbb{R}^d برابر d+1d+1 است.

  • کران با NN تنگ‌تر می‌شود ولی مستقل از الگوریتم یادگیری است؛ به همین دلیل برای شبکه‌های عمیق فاجعه‌بار سست است.

  • اشتباه رایج: «VC بزرگ ⇒ حتماً بیش‌برازش». VC بزرگ فقط می‌گوید ممکن است؛ انتخاب مدل همچنان با داده انجام می‌شود.

  • پل به جلسه بعد: همین بحث نشان می‌دهد چرا CV در عمل جایگزین نظریه است — و همین، ورود به MLE و رده‌بندهای آماری است.


۵. یادگیری رتبه‌دهی — س۵، شنبه ۲۸ آذر (۱۹ دسامبر ۲۰۲۶)، بخش اول

قاب‌بندی

  1. ۲′ عدد. دو سیستم رتبه‌بندی با دقت یکسان روی جفت‌های (پرسش، سند): NDCG@10 یکی ۰٫۷۸ و دیگری ۰٫۶۱. تفاوت در ترتیب است، نه در درستی.

  2. ۲′ جایگاه. تا اینجا معیارها روی نمونه‌های مستقل کار می‌کردند. اینجا واحد ارزیابی یک فهرست مرتب است؛ سرفصل این بند را جدا خواسته. این آخرین کاربرد «معیارهای سنجش» است.

  3. ۱′ پرسش. «چرا NDCG را نمی‌شود مستقیم با گرادیان بهینه کرد و روش‌ها چه کاری می‌کنند؟»

جمع‌بندی (۳′ از ۵′)

  • سه خانواده (pointwise/pairwise/listwise) تفاوتشان در تابع هدف است، نه در داده.

  • معیارهای رتبه‌ای جایگشتی‌اند (rank-aware) و مشتق‌پذیر نیستند؛ روش‌ها یا کران می‌سازند یا گرادیان تقریبی.

  • اشتباه رایج: ارزیابی با تقسیم تصادفی جفت‌ها؛ سندهای یک پرسش باید با هم در یک سمت تقسیم بمانند، وگرنه نشت رخ می‌دهد.


۶. یادگیری نیمه‌نظارتی — همان جلسه، بخش دوم

قاب‌بندی

  1. ۲′ عدد. با ۵٪ برچسب، دقت ۷۰٪؛ با ۱۰۰٪ برچسب، ۸۸٪. آیا می‌شود با ۵٪ برچسب به ۸۵٪ رسید؟ گاهی بله، گاهی بدتر از ۷۰٪.

  2. ۲′ جایگاه. اینجا اولین‌بار است که داده بدون برچسب اثر می‌گذارد؛ پیش‌نیاز آن GMM و EM است (جلسه ۱۴): داده بدون برچسب در گام E مسئولیت می‌گیرد.

  3. ۱′ پرسش. «چه فرضی باید درست باشد تا داده بدون برچسب کمک کند؟ و چه وقت زیان می‌زند؟»

جمع‌بندی (۳′ از ۵′)

  • سه فرض پایه (خوشه، منیفولد، هم‌بستگی) شرط اثرگذاری‌اند، نه جزئیات فنی.

  • نیمه‌نظارتی تضمین ندارد؛ در نسبت‌های بالای برچسب و وقتی فرض خوشه نقض شود، زیان می‌دهد.

  • اشتباه رایج: مقایسه ناعادلانه — نسبت برچسب، تقسیم داده و معیار باید یکسان باشد، وگرنه نتیجه بی‌معناست.


یادداشت استفاده

این برگه جای طرح موضوع دانشجو را نمی‌گیرد (presentation-topics-en-fa.md). ترتیب کار در هر سمینار: قاب‌بندی شما ← دو ارائه ← جمع‌بندی شما. اگر ارائه از زمان جلو زد، از جمع‌بندی کم نکنید؛ از پرسش‌وپاسخ کم کنید.