آنتروپی ، آنتروپی متقاطع و واگرایی KL به روشی سرگرم کننده و بسیار بصری

به عنوان یک پزشک علوم داده ، چند بار از مفهوم واگرایی KL در محل کار استفاده کرده اید؟چقدر وضوح و اعتماد به نفس با مفاهیم آنتروپی ، آنتروپی یا واگرایی KL دارید؟کمی ، فقط نظری یا یک بار خوانده شده اما از نوع فراموش شده.

هرچه باشد ، خوب استشما باید مقالات مربوط به موضوع را از طریق اینترنت خوانده باشید ، حتی من این کار را کردم اما آنقدر نظری و کسل کننده است که با گذشت زمان فراموش می کنیم. اما ، اگر من یک دیدگاه کاملاً متفاوت از آن ارائه دهم ، دیدگاه که به من این امکان را می دهد تا مفهوم را خیلی خوب درک کنم و آن را به یک سلاح قوی در زره پوش خود تبدیل کنم ، چه می کنید. و باور کنید ، پس از گذراندن این کار ، شما ایده ای در مورد چگونگی استفاده از این مفاهیم در هر طبقه بندی کوچک ، خوشه بندی یا سایر مشکلات یادگیری ماشین روزانه خواهید داشت.

این پست توسط یک پست دیگر دنبال خواهد شد. در بخشی ، ما با درک در مورد آنتروپی و سپس آنتروپی متقاطع و در نهایت واگرایی KL شروع خواهیم کرد. سپس از مفاهیم آموخته شده استفاده خواهیم کرد و آنها را در یک مجموعه داده استفاده خواهیم کرد که در پست بعدی همه چیز را شفاف می کند. من بهترین سطح خود را امتحان خواهم کرد تا کارها را ساده و بصری نگه دارم اما لطفاً به بخش منابع پرش کنید و در مورد موضوعات بیشتر تحقیق کنید. بیایید در سفر شروع کنیم.

همچنین می توانید ویدیوی YouTube من را در همین موضوع پیدا کنید.

1. درک آنتروپی

اینترنت می گوید آنتروپی میزان افزایش اطلاعات است. بگذارید آن را ساده و واضح بسازم ، آنتروپی چیزی نیست جز میزان اختلال ، عدم اطمینان ، تعجب یا غیرقابل پیش بینی بودن مرتبط با این رویداد. چه مفهومی داره؟

بیایید مثال بزنیم ، با دیدن آب و هوای امروز که پیش بینی می کنم ،

1. فردا 50-50 احتمال باران وجود دارد.
2. فردا 75 ٪ احتمال باران وجود دارد.

کدام مورد به ما اطلاعات بیشتر یا دانش می دهد؟

وقتی گفته شد ، 50-50 شانس ، این به معنای عدم اطمینان بیشتر است ، هر اتفاقی می تواند رخ دهد و از این رو تصادفی بیشتر. در حالی که مورد دوم ، 75 ٪ احتمال باران به معنای احتمال باران ، تصادفی کمتر یا افزایش اطلاعات جدید است. از این رو ، مورد اول آنتروپی بالاتری نسبت به دوم دارد.

بیایید یک مثال دیگر ، نتیجه احتمالی یک سکه را که داده می شود ، چه خواهد بود

1. سکه بی طرفانه با احتمال مساوی سر و دم ، 0. 5
2. سکه مغرضانه با احتمال سر 0. 75

مانند گذشته ، در مورد اول ، 50-50 احتمال سر یا دم وجود دارد. این به معنای عدم اطمینان بیشتر است ، هر اتفاقی می تواند رخ دهد و از این رو تصادفی بیشتر. در حالی که در مورد دوم ، 75 ٪ شانس گرفتن سر به معنای احتمال بیشتر این است که نتیجه سکه سر ، تصادفی کمتر یا سود جدید باشد. از این رو ، مورد اول آنتروپی بالاتری نسبت به دوم دارد.

آنتروپی محاسبه

آنتروپی سیستم "H (P)" به صورت محاسبه می شود ،

جایی که Pᵢ احتمال رویداد I-Th است.

بیایید آنتروپی مثال فوق را محاسبه کنیم و نشان دهیم که سکه بی طرفانه آنتروپی بالاتری نسبت به یک مغرضانه دارد.

مورد I: آنتروپی برای سکه بی طرفانه با احتمال مساوی سر و دم ، 0. 5

= -0. 5*log (0. 5) - 0. 5*log (0. 5) = 1. 0

مورد دوم: آنتروپی برای سکه مغرضانه با احتمال سر 0. 75

= -0. 75*log (0. 75) - 0. 25*log (0. 25) = 0. 81

2. درک آنتروپی متقاطع

به گفته من ، آنتروپی متقاطع خوب بودن ، نزدیکی توزیع پیش بینی شده به واقعی است. بگذارید بیشتر آن را ساده تر کنم ،

بگذارید بگوییم که ما یک سکه مغرضانه با احتمال وجود 0. 75 به ما ارائه شده است. ما از تعصبات سکه بی خبر هستیم ، بنابراین

مورد اول: ما صد بار سکه را ریختیم و 70 سر و 30 دم گرفتیم. برآورد ما سکه است که با احتمال اینکه سر 0. 70 باشد ، مغرضانه است.

مورد دوم: ما صد بار سکه را ریختیم و 72 سر و 28 دم گرفتیم. برآورد ما سکه است که با احتمال اینکه سر 0. 72 باشد ، مغرضانه است.

ما در مورد II به توزیع واقعی نزدیکتر هستیم ، از این رو آنتروپی متقاطع ما برای مورد II از مورد II پایین تر است. اگر به طور اتفاقی قادر به تقلید از توزیع واقعی بدون هیچ خطایی باشیم ، آنتروپی متقاطع همان آنتروپی خواهد بود. بنابراین ، آنتروپی متقاطع همیشه بیشتر یا برابر با آنتروپی است.

محاسبه آنتروپی متقاطع

جایی که Pᵢ احتمال واقعی رویداد I-TH است و Q ᵢ احتمال تخمین زده شده از رویداد I-TH است. و لگاریتم مورد استفاده Base-2 است.

بیایید آنتروپی متقاطع مثال فوق را محاسبه کنیم و نشان دهیم که مورد II دارای آنتروپی متقاطع پایین تر از مورد I است زیرا به توزیع واقعی نزدیکتر است.

مورد I: سکه با احتمال وجود سر 0. 70 مغرضانه است.

= -0. 75 * log (0. 70) -0. 25 * log (0. 30) = 0. 820

مورد دوم: سکه با احتمال اینکه سر 0. 72 باشد مغرضانه است.

= -0. 75 * log (0. 72) -0. 25 * log (0. 28) = 0. 814

بدیهی است ، آنتروپی متقاطع برای مورد II از مورد I کوچکتر است زیرا به توزیع واقعی نزدیکتر است.

اگر تخمین باشد ، سکه با احتمال وجود سر 0. 75 مغرضانه است.

= -0. 75 * log (0. 75) -0. 25 * log (0. 25) = 0. 811 (کوچکترین ، در اینجا متقاطع آنتروپی همان آنتروپی است)

3. درک واگرایی KL

واگرایی Kl فقط تفاوت بین توزیع متناسب و توزیع واقعی است ، یعنی تفاوت بین آنتروپی متقاطع و آنتروپی. همچنین می توان به این موضوع توجه کرد که این دو توزیع چقدر متفاوت است.

محاسبه واگرایی KL

بیایید همان نمونه ای را که به ما یک سکه مغرضانه داده شده است با احتمال اینکه سر 0. 75 باشد ، ارائه دهیم. ما از تعصبات سکه بی خبر هستیم ، بنابراین

مورد اول: ما صد بار سکه را ریختیم و 70 سر و 30 دم گرفتیم. برآورد ما سکه است که با احتمال اینکه سر 0. 70 باشد ، مغرضانه است.

kl = 0. 75 * log (0. 75/0. 70) + 0. 25 * log (0. 25/0. 30) = 0. 0088

مورد دوم: ما صد بار سکه را ریختیم و 72 سر و 28 دم گرفتیم. برآورد ما سکه است که با احتمال اینکه سر 0. 72 باشد ، مغرضانه است.

kl-divergence = 0. 75 * log (0. 75/0. 72) + 0. 25 * log (0. 25/0. 28) = 0. 0032

بدیهی است ، فاصله در مورد II کمتر از مورد I است ، زیرا توزیع دوم به واقعی نزدیکتر است.

اگر تخمین باشد ، سکه با احتمال وجود سر 0. 75 مغرضانه است.

kl-divergence = 0. 75 * log (0. 75/0. 75) + 0. 25 * log (0. 25/0. 25) = 0 (آنتروپی همان آنتروپی متقاطع است) ، بنابراین هیچ تفاوتی در دو توزیع ندارد.

4. نتیجه گیری

این اولین پستی بود که ما درک کاملی از آنتروپی ، آنتروپی و واگرایی KL کسب کردیم. ما همچنین اصطلاحات را به صورت شهودی و با محاسبه و دیدن ارزش آنها از طریق مثال درک کردیم. امیدوارم که موضوع را روشن کرده و دیدگاه متفاوتی از آنچه که به طور سنتی از طریق اینترنت در دسترس است ، به آن ارائه دهد. در پست بعدی ، من قصد دارم از این مفاهیم در یک مجموعه داده واقعی استفاده کنم. این ایده/شهود به همه می دهد که چگونه می توانند از این مفاهیم آموخته شده در هر طبقه بندی کوچک ، خوشه بندی یا سایر مشکلات یادگیری ماشین روزانه استفاده کنند. بچه ها را از دست ندهید ، سخنان من را علامت گذاری کنید ، این فقط بهتر می شود.