زیرفضاها و نگاشتها به فضاهای دیگر
زیرفضاها و نگاشتها به فضاهای دیگر¶
وضعیت: صفحهٔ پل میان نوتبوکهای پوشش/وابستگی و فصلهای مقادیر ویژه/SVD.
صفحههای پیش از این به پرسشهایی درون پاسخ میدادند: ترکیب خطی چیست، بردارها کِی مستقلاند، پوشش چیست. این صفحه دو بار دیدگاه را عوض میکند: نخست ماتریس دیگر جدول اعداد نیست بلکه نگاشت خطی میان دو فضاست، و بعد زیرفضا دیگر مجموعهای از پیکانها نیست بلکه تصویر یا هستهٔ چنین نگاشتی است. هر دو دید در هر فصل بعدی به کار میآیند — تصویرسازی در PCA، فضای پوچ در کمترین مربعات، نگاشت ویژگی در صفحهٔ کرنل.
۱. زیرفضاها، هر کدام در یک بند¶
زیرمجموعهٔ یک زیرفضا است اگر 0 را در بر داشته باشد و نسبت به جمع و ضرب اسکالر بسته باشد. سه پیامد که پیوسته به کار میبریم:
هر زیرفضا پوشش چند بردار است، و یک مجموعهٔ پوشانندهٔ کمینه یک پایه است. همهٔ پایههای یک زیرفضا تعداد عنصر یکسان دارند، یعنی بُعد آن.
زیرفضاهای در بُعدهای میآیند: یک نقطه، خطی گذرنده از مبدأ، صفحهای گذرنده از مبدأ و به همین ترتیب. عبارت گذرنده از مبدأ تزیین نیست؛ خطی که 0 را در بر ندارد زیرفضا نیست و میانگینگیری درونش از آن بیرون میزند.
زیرفضا را به دو شکل میتوان داد و این دو توصیف دوگان یکدیگرند: بهصورت پوشش (پارامتری، ) یا بهصورت مجموعهٔ جواب معادلههای همگن (ضمنی، ). تبدیل این دو به هم همان حذف گاوسی است.
مثال دادهای: مجموعهٔ همهٔ تصویرهای یک مجموعهداده، پس از تختکردن، زیرفضایی از را میپوشاند که بُعدش حداکثر تعداد تصویرهاست — اغلب بسیار کمتر، و همین تمام فرض تقریب رتبه پایین است.
۲. ماتریس یک نگاشت است¶
را ثابت بگیرید و ستونبهستون بخوانید: . آنگاه ترکیب خطی ستونها با ضرایب است. پس ضرب در همان نگاشت
است و خطی است: . برعکس، هر نگاشت خطی میان این فضاها برای دقیقاً یک ماتریس این شکل است: ستون ام تصویر بردار پایهٔ ام است. همین است که این دو شیء را جایگزین یکدیگر میکند.
دو زیرفضا با سفر میکنند:
مجموعهٔ هدفهایی است که نگاشت میتواند بزند؛ مجموعهٔ ورودیهایی است که به صفر فرو میریزند. رتبه برابر است، تعداد ستونهای مستقل؛ پوچی برابر ؛ و این دو با هم بستهاند:
که همان گزارهٔ این است که هر جهت مستقل ورودی یا به تصویر میرسد یا در هسته گم میشود، هرگز هر دو. در رگرسیون خطی، دقیقاً همان ابهام ضرایب است: اگر جواب داشته باشد، مجموعهٔ خطی جواب دارد، و شبهمعکوس کوتاهترین را برمیگزیند.
۳. هندسهٔ سه خانواده¶
| نگاشت | شکل ماتریسی | چه میکند | هسته |
|---|---|---|---|
| مقیاس در جهت محورها | کشیدن بهاندازهٔ | محورهایی که دارند | |
| دوران بهاندازهٔ | چرخاندن صفحه | ||
| تصویر روی یک زیرفضا | با | بخش را نگه میدارد، بقیه را دور میریزد | |
| نگاشت رتبه یک | همهچیز را روی خط فرو میریزد |
سطر تصویرسازی همان است که در PCA بازمیگردد: خودتوان است () و متقارن، و — تعداد مؤلفههای نگهداشتهشده.
۴. ترکیب، معکوس، تغییر پایه¶
ترکیب همان ضرب است. اعمال پس از همان نگاشت است. ترتیب مهم است، و اتحاد در حالت کلی گزارهای دربارهٔ نگاشتهاست، نه حساب.
معکوس یعنی نگاشت وارونپذیر. وارونپذیر است اگر و تنها اگر ، که برای ماتریس مربعی معادل تمامرتبه بودن و است. ماتریس نامربعی میتواند یکبهیک یا پوشا باشد ولی نه هر دو؛ شبهمعکوس حالت کلی را حل میکند.
تغییر پایه. اگر ستونهای بردارهای پایهٔ نو باشند، ماتریس همان نگاشت در پایهٔ نو است. ماتریسهای متشابه یک نگاشت را نمایش میدهند و بنابراین مقدارهای ویژهٔ یکسان دارند — و همین است که تجزیهٔ مقادیر ویژه را میتوان چنین خواند: «نگاشت در پایهٔ ویژهها قطری است».
۵. دید دادهای: نگاشتی به فضای دیگر¶
همهٔ نوشتههای بالا برای بود، ولی همان کلمات گامی را توصیف میکنند که یادگیری امروز را ممکن کرده است: یک نگاشت ویژگی هر نقطهٔ داده را به فضای دیگری میفرستد که در آن یک مدل خطی شاید کافی باشد. دو مثال از این درس:
PCA نگاشتی به زیرفضایی کمبُعد است، انتخابشده تا کمترین واریانس را از دست بدهد.
صفحهٔ کرنل را با ماتریس گرامش جانشین میکند، پس نگاشت هرگز محاسبه نمیشود، فقط ضربهای داخلیاش. کرنل یک شباهت است، و دلیلش بخش ۲ است: ضرب داخلی توصیفی بیمختصات از هندسهٔ است.
اشارههای آزمایشگاهی¶
این نوتبوکها را در کنار این صفحه بخوانید؛ نیمهٔ محاسباتیاش همینهاست:
Linear-Dependence-and-Span، Projection، Multiplying-Matrices-and-Vectors، و بعد
Eigendecomposition برای گزارهٔ تغییر پایه در بخش ۴.
تمرینها¶
یک ماتریس بگیرید، فضای ستونیاش را هندسی توصیف کنید و پایهای برایش بدهید.
یک نگاشت خطی ناوارونپذیر بدهید، هستهاش را توصیف کنید و بررسی کنید که بُعدها در رتبه بهعلاوهٔ پوچی برابر ۳ صدق میکنند.
توضیح دهید چرا یک نگاشت خطی با تصویر بردارهای یک پایه معین میشود، و با آن یک ماتریس را از دو بردار تصویر بازسازی کنید.
برای پایههایی برای و بیابید و بررسی کنید رتبه بهعلاوهٔ پوچی برابر ۳ است. چرا دستگاه فقط برای برخی جواب دارد، و آن ها را چگونه میشناسید؟
نشان دهید با در و صدق میکند و تعداد ستونهای است. هر دو واقعیت را هندسی تفسیر کنید.
را ماتریسی بگیرید که ستونهایش و است. برای یک متقارن به انتخاب خودتان را حساب کنید و بررسی کنید مقدارهای ویژه تغییر نکردهاند. بردارهای ویژهٔ برحسب بردارهای ویژهٔ چه هستند؟
یک نگاشت ویژگی بدهید که برچسبگذاری XOR با آن خطی جداپذیر شود، و سه مختصه را صریح بنویسید.
منابع¶
linear-algebra-basics.mdو نوتبوکهای جبرخطیGoodfellow et al., Deep Learning, Ch. 2 (همانگونه که در این یادداشتها به کار رفته)
Strang, Linear Algebra and Its Applications, Ch. 3–4 (فضای ستونی، فضای پوچ، رتبه–پوچی)