محاسبه‌گر آنتروپی - محاسبه آنتروپی شانون به صورت آنلاین و رایگان

ماشین‌حساب آنتروپی چیست؟

ماشین‌حساب آنتروپی، آنتروپی شانونِ مجموعه‌ای از اعداد را پیدا می‌کند. آنتروپی شانون روشی برای سنجش میزان غیرقابل‌پیش‌بینی‌بودن یک مجموعه‌داده است. مجموعه‌داده‌ای که همه مقدارهای آن یکسان باشند، آنتروپی صفر دارد، زیرا هیچ چیز نامعلومی درباره آن وجود ندارد. مجموعه‌داده‌ای که احتمال ظاهرشدن همه مقدارهای آن یکسان باشد، برای اندازه خود بیشترین آنتروپی ممکن را دارد.

این ایده از نظریه اطلاعات می‌آید؛ حوزه‌ای که کلود شانون، ریاضی‌دان آمریکایی، آن را در ۱۹۴۸ آغاز کرد. شانون می‌خواست اندازه‌گیری کند که یک پیام چه مقدار اطلاعات منتقل می‌کند. او آنتروپی را میانگین میزان «غافلگیری» در یک دنباله از نمادها تعریف کرد. همین فرمول اکنون در علم داده، رمزنگاری، زیست‌شناسی و یادگیری ماشین کاربرد دارد؛ یعنی هرجا لازم باشد تصادفی‌بودن مجموعه‌ای از پیامدها اندازه‌گیری شود.

فرمول آنتروپی شانون

برای مجموعه‌داده‌ای با مقدارهای یکتای x₁ تا xₙ که هرکدام با احتمال p(xᵢ) ظاهر می‌شوند، آنتروپی شانون H برابر است با:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

به بیان ساده: برای هر مقدار یکتا، احتمال آن را در لگاریتم با پایه 2 همان احتمال ضرب کنید، حاصل‌ضرب‌ها را با هم جمع کنید و سپس علامت نتیجه را برعکس کنید. نتیجه همیشه صفر یا مثبت است.

این ماشین‌حساب همیشه از لگاریتم‌های با پایه 2 استفاده می‌کند، بنابراین نتیجه با واحد بیت سنجیده می‌شود. پایه‌های دیگری نیز برای هدف‌های دیگر وجود دارند: لگاریتم طبیعی واحدهایی به نام نَت می‌دهد و پایه 10 واحدهایی به نام هارتلی. بیت واحد استاندارد در محاسبات و نظریه اطلاعات است؛ به همین دلیل این ماشین‌حساب به پایه ۲ پایبند است.

چرا نتیجه نمی‌تواند منفی باشد؟

هر احتمال p(xᵢ) بین ۰ و ۱ است، بنابراین لگاریتم آن صفر یا منفی است. ضرب یک احتمال در لگاریتمی منفی یا صفر، عددی منفی یا صفر می‌دهد. جمع این مقدارها و سپس برعکس‌کردن علامت، همیشه نتیجه‌ای برابر با صفر یا بیشتر ایجاد می‌کند.

بیشترین آنتروپی ممکن

برای مجموعه‌داده‌ای با n مقدار یکتا، آنتروپی زمانی بیشترین است که همه مقدارها به یک اندازه ظاهر شوند. این بیشینه برابر با log₂(n) بیت است. مجموعه‌داده‌ای با ۴ مقدار یکتای هم‌فراوان می‌تواند حداکثر به ۲ بیت آنتروپی برسد، زیرا log₂(۴) = ۲. هر توزیع نامتوازن از همان ۴ مقدار، آنتروپی کمتری دارد.

روش محاسبه آنتروپی: گام‌به‌گام

1. مقدارهای یکتا را فهرست کنید و بشمارید هرکدام چند بار در مجموعه‌داده ظاهر شده‌اند.
2. هر شمارش را بر تعداد کل مقدارها تقسیم کنید تا احتمال هر مقدار یکتا به دست آید.
3. لگاریتم با پایه 2 هر احتمال را به دست آورید و سپس آن را در همان احتمال ضرب کنید.
4. همه این حاصل‌ضرب‌ها را جمع کنید و سپس حاصل را در −۱ ضرب کنید.

این ماشین‌حساب همین چهار گام را به‌طور خودکار انجام می‌دهد. اعداد را در کادر ورودی، با فاصله یا ویرگول از هم جداشده، وارد کنید، قالب مناسب را انتخاب کنید تا آنتروپی، جدول احتمال و نمودار میله‌ای فوراً نمایش داده شوند. جدولی زیر نتیجه، مقدار، شمارش، احتمال و p(x) × log₂(p(x)) را برای هر عدد یکتا نشان می‌دهد؛ بنابراین روند محاسبه، نه فقط پاسخ نهایی، قابل مشاهده است.

قواعد ورودی

• فقط مقدارهای عددی پذیرفته می‌شوند: اعداد صحیح، اعشاری و منفی همگی قابل استفاده‌اند.
• مقدارها، بسته به قالب انتخاب‌شده، با فاصله از هم جدا می‌شوند (مثال: 1 2 3 4) یا با ویرگول (مثال: 1,2,3,4).
• یک مجموعه‌داده می‌تواند حداکثر ۱۰۰٬۰۰۰ مقدار داشته باشد. واردکردن مقدارهای بیشتر، پیام خطایی ایجاد می‌کند که درخواست مجموعه‌داده کوچک‌تری دارد.
• نمادگذاری علمی پذیرفته می‌شود؛ بنابراین 1e3 به‌صورت ۱۰۰۰ خوانده می‌شود.
• متن، نمادها یا ورودی‌های خالی بین جداکننده‌ها، به‌جای نادیده‌گرفته‌شدن، با نمایش خطا رد می‌شوند.
• عددی که برای ذخیره در رایانه بیش از حد بزرگ باشد، مانند 1e400، نیز رد می‌شود. بزرگ‌ترین مقداری که ماشین‌حساب می‌تواند نگه دارد تقریباً 1.8 x 10^308 است.

مثال حل‌شده

مجموعه‌داده 1 2 3 1 2 1 را در نظر بگیرید که شش عدد دارد.

ابتدا هر مقدار یکتا را بشمارید:

سپس فرمول را برای هر ردیف اعمال کنید و نتایج را با هم جمع کنید:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ بیت}$

این مجموعه‌داده ۳ مقدار یکتا دارد، بنابراین بیشترین آنتروپی ممکن log₂(۳) ≈ ۱٫۵۸۵ بیت است. نتیجه واقعی، یعنی ۱٫۴۵۹۱ بیت، از این بیشینه کمتر است، زیرا مقدار ۱ بیشتر از مقدارهای دیگر ظاهر شده و مجموعه‌داده را اندکی تصادفی‌بودن کمتری نسبت به تقسیم کاملاً برابر کرده است.

مجموعه‌داده‌ای بدون عدم‌قطعیت

مجموعه‌داده 5 5 5 5 5 فقط یک مقدار یکتا دارد، بنابراین احتمال آن ۱ است. از آنجا که log₂(۱) = ۰، هر جمله در مجموع صفر است و آنتروپی دقیقاً ۰ بیت خواهد بود. در مجموعه‌داده‌ای که همه مقدارهای آن یکسان‌اند، هیچ چیز نامعلومی وجود ندارد.

تفسیر نتیجه

• آنتروپی نزدیک به ۰ یعنی داده تکراری و قابل‌پیش‌بینی است. یک یا چند مقدار بر داده غالب‌اند.
• آنتروپی نزدیک به log₂(n)، که n تعداد مقدارهای یکتا است، یعنی داده میان همه مقدارهای یکتای خود تقریباً به‌طور یکنواخت پخش شده است.
• آنتروپی دقیقاً برابر با ۰ یعنی همه مقدارهای مجموعه‌داده یکسان‌اند.

آنتروپی به‌تنهایی نشان نمی‌دهد که یک مجموعه‌داده «خوب» است یا «بد». مولد گذرواژه آنتروپی بالا می‌خواهد، زیرا حدس‌زدن گذرواژه را دشوار می‌کند. حسگری که باید دمای ثابتی را نشان دهد، آنتروپی پایین می‌خواهد، زیرا این امر به معنای پایداربودن خوانش است.

کاربردهای آنتروپی شانون

• یادگیری ماشین: الگوریتم‌های درخت تصمیم از آنتروپی استفاده می‌کنند تا تعیین کنند کدام ویژگی، مجموعه‌داده را بهتر به گروه‌های قابل‌پیش‌بینی تقسیم می‌کند.
• فشرده‌سازی داده: آنتروپی حد نظری میزان کوچک‌کردن یک فایل را بدون از دست دادن اطلاعات تعیین می‌کند.
• رمزنگاری: آنتروپی میزان غیرقابل‌پیش‌بینی‌بودن یک گذرواژه یا کلید رمزنگاری را اندازه می‌گیرد.
• ژنتیک: آنتروپی می‌تواند نواحی غیرمعمول یا بسیار متغیر را در یک توالی DNA آشکار کند.
• تحلیل متن: با درنظرگرفتن حروف یا واژه‌ها به‌عنوان «مقدارها»، آنتروپی می‌تواند میزان قابل‌پیش‌بینی‌بودن یک متن را اندازه‌گیری کند.

پرسش‌های متداول

آنتروپی در نظریه اطلاعات چیست؟ عددی است که میزان عدم‌قطعیت یا غیرقابل‌پیش‌بینی‌بودن یک مجموعه‌داده را اندازه می‌گیرد. این مقدار از احتمال هر مقدار یکتا در داده محاسبه می‌شود، نه از خود مقدارها.

چگونه آنتروپی شانون را دستی محاسبه می‌کنید؟ تعداد وقوع هر مقدار یکتا را بشمارید، هر شمارش را بر مجموع کل تقسیم کنید تا احتمال‌ها به دست آیند، هر احتمال را در لگاریتم با پایه 2 آن ضرب کنید، نتایج را با هم جمع کنید و حاصل را در −۱ ضرب کنید.

آیا آنتروپی می‌تواند منفی باشد؟ خیر. کمترین مقدار ممکن ۰ بیت است که وقتی رخ می‌دهد که همه مقدارهای مجموعه‌داده یکسان باشند.

بیشترین آنتروپی برای یک مجموعه‌داده چیست؟ بیشینه برابر با log₂(n) بیت است؛ n تعداد مقدارهای یکتا است و این بیشینه فقط زمانی رخ می‌دهد که همه مقدارهای یکتا به یک اندازه ظاهر شوند.

آیا اندازه مجموعه‌داده محدودیت دارد؟ بله. این ماشین‌حساب حداکثر ۱۰۰٬۰۰۰ مقدار را در یک مجموعه‌داده می‌پذیرد. ورودی‌های بزرگ‌تر خطا ایجاد می‌کنند.

آنتروپی چه تفاوتی با واریانس دارد؟ واریانس میزان پراکندگی مقدارهای عددی را حول میانگین آن‌ها اندازه می‌گیرد. آنتروپی میزان غیرقابل‌پیش‌بینی‌بودن الگوی پیامدها را فقط بر اساس احتمال‌ها اندازه می‌گیرد، بدون توجه به اندازه واقعی عددها.

منابع

1. شانون، C. E. (۱۹۴۸). نظریه‌ای ریاضی درباره ارتباطات. مجله فنی سیستم بل، ۲۷(۳)، ۳۷۹–۴۲۳.
2. کاور، T. M.، و توماس، J. A. (۲۰۰۶). مبانی نظریه اطلاعات (ویرایش ۲). Wiley-Interscience.
3. مک‌کی، D. J. C. (۲۰۰۳). نظریه اطلاعات، استنباط و الگوریتم‌های یادگیری. انتشارات دانشگاه کمبریج.