جبرخطی
جبرخطی¶

یادآوری میکنم که مطالب اصلی از مخزن جبرخطی آخیل واسوانی در گیتهاب گرفته شده است.
با وامگیری از مجموعهٔ وبلاگها و نوتبوکهای پایتون هادریان و یادداشتهای او بر کتاب یادگیری عمیق نوشتهٔ ایان گودفلو، یوشوا بنجیو و آرون کورویل (۲۰۱۶)، هدف این نوتبوکها کمک به تازهکارها و نیمهحرفهایهاست تا مفاهیم جبرخطی زیربنای یادگیری عمیق و یادگیری ماشین را درک کنند. کسب این مهارتها توانایی شما را در فهم و بهکارگیری الگوریتمهای گوناگون علم داده بالا میبرد.
این یادداشتها فصل ۲، جبرخطی، را پوشش میدهند. این فصل تصویری از پرکاربردترین بخشها در حوزهٔ یادگیری ماشین و یادگیری عمیق میدهد و برنامهٔ درسی خوبی است برای هر کس که میخواهد در یادگیری عمیق غور کند و مفاهیم جبرخطی لازم برای فهم بهتر الگوریتمهای آن را به دست آورد.
شروع با جبرخطی¶
هدف این مجموعه فراهم کردن محتوایی است برای تازهکارهایی که میخواهند آنقدر جبرخطی بدانند که با یادگیری ماشین و یادگیری عمیق راحت باشند. با این حال، فصل جبرخطیِ کتاب یادگیری عمیق برای تازهکارها کمی سنگین است. پس از کد، مثال و شکل در هر بخش این فصل استفاده میکنیم تا گامهایی را که برای تازهکار بدیهی نیست آشکار کنیم. به نظرم از راه مثال هم میتوان بهاندازهٔ تعریفهای عمومی اطلاعات منتقل کرد. تصویرها راهی برای دیدن تصویر کلی یک ایدهاند. و در پایان، به نظرم کدنویسی ابزار خوبی است برای آزمودن عینی این مفاهیم انتزاعی ریاضی؛ در کنار قلم و کاغذ، لایهای میافزاید که با آن میتوانید فهم خود را به افقهای تازه ببرید.
نمایش گرافیکی هم برای فهم جبرخطی بسیار یاریدهنده است. کوشیدهام مفاهیم را با نمودار (و کدِ تولیدش) گره بزنم. محبوبترین نوع نمایش در این مجموعه برای من این بود که هر ماتریس را بهصورت تبدیل خطی فضا میبینید. در چند فصل این ایده را گسترش میدهیم و میبینیم چگونه برای فهم تجزیهٔ مقادیر ویژه، تجزیهٔ مقادیر تکین (SVD) یا تحلیل مؤلفههای اصلی (PCA) به کار میآید.
استفاده از پایتون/NumPy¶
علاوه بر این، ساختن و خواندن مثالها برای فهم نظریه واقعاً کمککننده است. هدف دو وجه دارد:
فراهم کردن نقطهٔ شروعی برای استفاده از پایتون/NumPy در بهکارگیری مفاهیم جبرخطی. و چون هدف نهایی بهکارگیری این مفاهیم در علم داده است، طبیعی به نظر میرسد که پیوسته میان نظریه و کد رفتوبرگشت کنیم. تنها چیزی که لازم دارید یک نصب کارآمد پایتون با کتابخانههای ریاضی اصلی مانند NumPy/SciPy/matplotlib است.
دادن دید عینیتر به مفاهیم زیربنایی. برای من بازی و آزمایش با این نوتبوکها در ساختن فهم مفاهیم یا نمادگذاریهای نسبتاً پیچیدهٔ نظری بسیار سودمند بود. امیدوارم خواندنشان همانقدر سودمند باشد.
برنامهٔ درسی¶
برنامه دقیقاً از کتاب یادگیری عمیق پیروی میکند، پس اگر نکتهٔ خاصی را هنگام خواندن نفهمیدید، جزئیات بیشتر را همانجا بیابید. توضیح کوتاه محتوا:
اسکالرها، بردارها، ماتریسها و تانسورها
مقدمهای سبک بر بردار، ماتریس، ترانهاده و عملیات پایه (جمع بردارها و ماتریسها). همچنین توابع NumPy و در پایان سخنی از پخشسازی (broadcasting).
ضرب ماتریس و بردار
این فصل عمدتاً دربارهٔ ضرب داخلی (ضرب بردار و/یا ماتریس) است. چند ویژگی آن را هم میبینیم. سپس میبینیم چگونه یک دستگاه معادلات خطی را با نمادگذاری ماتریسی خلاصه کنیم. این فرایند مهمی برای فصلهای بعد است.
ماتریس واحد و معکوس
دو ماتریس مهم را میبینیم: ماتریس واحد و ماتریس معکوس. میبینیم چرا در جبرخطی مهماند و چگونه با NumPy به کار میآیند. در پایان مثالی میبینیم از حل دستگاه معادلات خطی با ماتریس معکوس.
وابستگی خطی و پوشش
در این فصل مطالعهٔ دستگاههای معادلات خطی را ادامه میدهیم. میبینیم چنین دستگاهی نه بیش از یک جواب میتواند داشته باشد و نه کمتر از بیشمار جواب. شهود، نمایش گرافیکی و اثبات این گزاره را میبینیم. سپس به شکل ماتریسی دستگاه برمیگردیم و آنچه گیلبرت استرنگ تصویر سطری (به سطرها نگاه میکنیم، یعنی چند معادله) و تصویر ستونی (به ستونها نگاه میکنیم، یعنی ترکیب خطی ضرایب) مینامد را در نظر میگیریم. همچنین میبینیم ترکیب خطی چیست. در پایان مثالهایی از دستگاههای بیشمعین و کممعین را میبینیم.
نرمها
نرم یک بردار تابعی است که برداری میگیرد و مقدار مثبتی میدهد. میتوان آن را طول بردار دانست. برای نمونه برای سنجش فاصلهٔ پیشبینی یک مدل از مقدار واقعی به کار میرود. انواع نرم (، ، ، …) را با مثال میبینیم.
انواع خاص ماتریسها و بردارها
در بخش قبل چند ماتریس خاص دیدیم که بسیار جالباند. در این فصل نوع دیگری از بردارها و ماتریسها را میبینیم. فصل بزرگی نیست ولی برای فهم فصلهای بعد مهم است.
تجزیهٔ مقادیر ویژه
در این فصل چند مفهوم عمدهٔ جبرخطی را میبینیم. با ایدههایی دربارهٔ بردارهای ویژه و مقادیر ویژه آغاز میکنیم. میبینیم که ماتریس را میتوان تبدیل خطی دید و اعمال ماتریس بر بردارهای ویژهاش بردارهایی با همان جهت میدهد. سپس میبینیم چگونه معادلههای درجهٔ دو را به شکل ماتریسی بنویسیم. میبینیم تجزیهٔ مقادیر ویژهٔ ماتریس متناظر با معادلهٔ درجهٔ دو برای یافتن کمینه و بیشینهاش به کار میآید. بهعنوان جایزه، مصورسازی تبدیل خطی در پایتون را هم میبینیم!
تجزیهٔ مقادیر تکین
راه دیگری برای تجزیهٔ ماتریسها میبینیم: تجزیهٔ مقادیر تکین یا SVD. از آغاز این مجموعه تأکید کردهام که ماتریس را میتوان تبدیل خطی فضا دید. با SVD ماتریس را به سه ماتریس دیگر تجزیه میکنید. میبینیم که این ماتریسهای تازه را میتوان زیرتبدیلهای فضا دید: بهجای انجام تبدیل در یک حرکت، آن را در سه حرکت تجزیه میکنیم. بهعنوان جایزه، SVD را در پردازش تصویر به کار میبریم و اثرش را روی تصویری نمونه میبینیم؛ پس ادامه دهید!
شبهمعکوس مور–پنروز
دیدیم که همهٔ ماتریسها معکوس ندارند. این ناخوشایند است، چون معکوس برای حل دستگاه معادلات به کار میرود. در برخی حالتها دستگاه جواب ندارد و بنابراین معکوس وجود ندارد. با این حال یافتن مقداری که تقریباً جواب است (از نظر کمینه کردن خطا) میتواند سودمند باشد. این کار با شبهمعکوس انجام میشود! برای نمونه میبینیم چگونه با شبهمعکوس خط برازش بهترین مجموعهای از نقطههای داده را بیابیم.
عملگر رد
میبینیم رد یک ماتریس چیست. برای فصل آخر، تحلیل مؤلفههای اصلی (PCA)، لازم میشود.
دترمینان
این فصل دربارهٔ دترمینان ماتریس است. این عدد ویژه چیزهای بسیاری دربارهٔ ماتریس ما میگوید!
مثال: تحلیل مؤلفههای اصلی
این آخرین فصل این مجموعهٔ جبرخطی است! دربارهٔ تحلیل مؤلفههای اصلی (PCA) است. با بخشی از دانشی که در فصلهای پیشین اندوختهایم این ابزار مهم تحلیل داده را میفهمیم!
افزودهها¶
مثال تصویرسازی با نموداری که جزئیات کارش را نشان میدهد افزوده شد.
تقریب ماتریس رتبه پایین افزوده شد. آنجا سودمند است که SVD برای مجموعهدادههای بسیار بزرگ به کار نیاید.
TensorFlow هم عملیات جبرخطی دارد.
پیشنیازها¶
این محتوا برای تازهکارهاست، ولی برای کسانی که کمی پیشزمینهٔ ریاضی دارند آسانتر خواهد بود.
خوش باشید¶
اگر غلط تایپی یا اطلاعات نادرستی یافتید به من بگویید؛ خوشحال میشوم اصلاحش کنم. میتوانید ایمیل بزنید یا در گیتهاب نوتبوکها issue و pull request باز کنید.
تمرینها¶
فصل را به ترتیب دادهشده کار کنید و برای هر صفحه تنها تعریفی را بنویسید که برای خواندن PCA لازم دارید.
پس از فصل، سه عملیات روی ماتریسها را بنویسید که اکنون میتوانید دستی انجام دهید و با NumPy بررسی کنید.
منابع¶
Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.
از (https://
از Aerin Kim (https://
کتابهای درسی PDF¶
ماتریسهای پهن، مربع و باریک — تعداد جوابهای دستگاه معادلات خطی