حاسبة الإنتروبيا - احسب إنتروبيا شانون عبر الإنترنت مجانًا

ما هي حاسبة الإنتروبيا؟

تحسب حاسبة الإنتروبيا إنتروبيا شانون لمجموعة من الأعداد. وإنتروبيا شانون طريقة لقياس مدى عدم قابلية التنبؤ بمجموعة بيانات. تكون إنتروبيا مجموعة البيانات التي تتساوى فيها جميع القيم صفراً، لأنه لا يوجد فيها ما يثير عدم اليقين. أما مجموعة البيانات التي تتساوى احتمالات ظهور جميع قيمها، فلها أعلى إنتروبيا ممكنة بالنسبة إلى حجمها.

تعود هذه الفكرة إلى نظرية المعلومات، وهي مجال أسسه عالم الرياضيات الأمريكي كلود شانون في 1948. أراد شانون قياس مقدار المعلومات التي تحملها الرسالة. وعرّف الإنتروبيا بأنها متوسط مقدار «المفاجأة» في تتابع من الرموز. وتظهر الصيغة نفسها الآن في علم البيانات والتعمية وعلم الأحياء وتعلّم الآلة، وفي كل مجال يلزم فيه قياس العشوائية في مجموعة من النتائج.

صيغة إنتروبيا شانون

بالنسبة إلى مجموعة بيانات ذات قيم فريدة x₁ إلى xₙ، يظهر كل منها باحتمال p(xᵢ)، تكون إنتروبيا شانون H كما يلي:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

بعبارة أخرى: لكل قيمة مميزة، اضرب احتمالها في لوغاريتم احتمالها ذي الأساس 2، ثم اجمع جميع هذه النواتج واقلب الإشارة. وتكون النتيجة دائماً صفراً أو قيمة موجبة.

تستخدم هذه الحاسبة دائماً اللوغاريتمات ذات الأساس 2، ولذلك تُقاس النتيجة بـالبتات. وتوجد أسس أخرى لأغراض مختلفة: يعطي اللوغاريتم الطبيعي وحدات تُسمى نات، بينما يعطي الأساس 10 وحدات تُسمى هارتلي. والبتات هي الوحدة القياسية في الحوسبة ونظرية المعلومات، ولذلك تلتزم هذه الحاسبة بالأساس 2.

لماذا لا يمكن أن تكون النتيجة سالبة

يقع كل احتمال p(xᵢ) بين 0 و1، ولذلك يكون لوغاريتمه صفراً أو سالباً. ويعطي ضرب الاحتمال في لوغاريتم سالب أو صفري عدداً سالباً أو صفراً. ويؤدي جمع هذه القيم ثم قلب الإشارة دائماً إلى نتيجة تساوي صفراً أو تزيد عليه.

الحد الأقصى الممكن للإنتروبيا

بالنسبة إلى مجموعة بيانات تضم n من القيم الفريدة، تبلغ الإنتروبيا أقصاها عندما تظهر كل قيمة بالعدد نفسه من المرات. ويساوي هذا الحد الأقصى log₂(n) بتات. ويمكن لمجموعة بيانات تضم 4 قيم فريدة متساوية الشيوع أن تبلغ بحد أقصى 2 بتات من الإنتروبيا، لأن log₂(4) = 2. ويعطي أي توزيع غير متساوٍ للقيم 4 نفسها إنتروبيا أقل.

كيفية حساب الإنتروبيا: خطوة بخطوة

1. سجّل القيم الفريدة في مجموعة البيانات، واحسب عدد مرات ظهور كل قيمة.
2. اقسم عدد مرات ظهور كل قيمة على العدد الإجمالي للقيم للحصول على احتمال كل قيمة فريدة.
3. احسب لوغاريتم كل احتمال ذي الأساس 2، ثم اضربه في الاحتمال نفسه.
4. اجمع جميع هذه النواتج، ثم اضرب المجموع في −1.

تنفذ هذه الحاسبة الخطوات الأربع نفسها تلقائياً. اكتب الأعداد في مربع الإدخال، وافصل بينها بمسافات أو فواصل، ثم اختر التنسيق المطابق؛ فتظهر الإنتروبيا وجدول الاحتمالات ومخطط أعمدة فوراً. ويعرض جدول أسفل النتيجة القيمة وعدد مرات ظهورها واحتمالها وp(x) × log₂(p(x)) لكل عدد فريد، بحيث تكون خطوات الحساب ظاهرة، لا النتيجة النهائية فقط.

قواعد الإدخال

• لا تُقبل إلا القيم العددية: إذ تعمل الأعداد الصحيحة والعشرية والسالبة جميعاً.
• تُفصل القيم بمسافات (مثال: 1 2 3 4) أو بفواصل (مثال: 1,2,3,4)، وفقاً للتنسيق المحدد.
• يمكن أن تحتوي مجموعة البيانات على ما يصل إلى 100,000 قيمة. ويؤدي إدخال عدد أكبر من ذلك إلى ظهور رسالة خطأ تطلب مجموعة بيانات أصغر.
• تُقبل الصيغة العلمية، ولذلك تُقرأ 1e3 على أنها 1000.
• تُرفض النصوص والرموز والإدخالات الفارغة بين الفواصل برسالة خطأ، بدلاً من تجاهلها بصمت.
• ويُرفض أيضاً عدد كبير جداً يتعذر على الحاسوب تخزينه، مثل 1e400. وتبلغ أكبر قيمة يمكن للحاسبة تخزينها نحو 1.8 x 10^308.

مثال محلول

لنأخذ مجموعة البيانات 1 2 3 1 2 1، التي تضم ستة أعداد.

أولاً، أحصِ عدد مرات ظهور كل قيمة فريدة:

بعد ذلك، طبّق الصيغة على كل صف واجمع النتائج:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ بتات}$

تضم مجموعة البيانات 3 قيماً فريدة، ولذلك يبلغ أقصى إنتروبيا ممكنة log₂(3) ≈ 1.585 بت. أما النتيجة الفعلية، 1.4591 بت، فهي أقل من ذلك الحد الأقصى لأن القيمة 1 تظهر مرات أكثر من القيم الأخرى، مما يجعل مجموعة البيانات أقل عشوائية قليلاً من تقسيم متساوٍ تماماً.

مجموعة بيانات بلا عدم يقين

تحتوي مجموعة البيانات 5 5 5 5 5 على قيمة مميزة واحدة فقط، ولذلك فإن احتمالها هو 1. وبما أن log₂(1) = 0، فإن كل حد في المجموع يساوي صفراً، وتساوي الإنتروبيا تماماً 0 بتات. ولا يوجد أي عدم يقين في مجموعة بيانات تكون كل قيمها متطابقة.

قراءة النتيجة

• الإنتروبيا القريبة من 0 تعني أن البيانات تكرارية وقابلة للتنبؤ. إذ تهيمن قيمة واحدة أو بضع قيم.
• الإنتروبيا القريبة من log₂(n)، حيث يمثّل n عدد القيم الفريدة، تعني أن البيانات موزعة توزيعاً متقارباً على جميع قيمها الفريدة.
• الإنتروبيا التي تساوي 0 تماماً تعني أن جميع القيم في مجموعة البيانات متطابقة.

لا تحدد الإنتروبيا وحدها ما إذا كانت مجموعة البيانات «جيدة» أو «سيئة». يحتاج مولّد كلمات المرور إلى إنتروبيا مرتفعة، لأن ذلك يجعل تخمين كلمة المرور صعباً. أما المستشعر الذي يفترض أن يقرأ درجة حرارة ثابتة، فيحتاج إلى إنتروبيا منخفضة، لأن ذلك يعني أن القراءة مستقرة.

مجالات استخدام إنتروبيا شانون

• تعلّم الآلة: تستخدم خوارزميات أشجار القرار الإنتروبيا لتحديد الميزة التي تحقق أفضل تقسيم لمجموعة البيانات إلى مجموعات يمكن التنبؤ بها.
• ضغط البيانات: تحدد الإنتروبيا الحد النظري لصغر حجم الملف الذي يمكن ضغطه إليه من دون فقدان المعلومات.
• التعمية: تقيس الإنتروبيا مدى عدم قابلية التنبؤ بكلمة مرور أو مفتاح تشفيري.
• علم الوراثة: يمكن للإنتروبيا أن تبرز المناطق غير المعتادة أو شديدة التباين في تسلسل الحمض النووي.
• تحليل النصوص: يتيح التعامل مع الحروف أو الكلمات بوصفها «قيماً» استخدام الإنتروبيا لقياس مدى قابلية التنبؤ بجزء من النص.

الأسئلة الشائعة

ما الإنتروبيا في نظرية المعلومات؟ هي عدد يقيس مقدار عدم اليقين أو عدم قابلية التنبؤ في مجموعة البيانات. وتحسب انطلاقاً من احتمالات القيم الفريدة في البيانات، لا من القيم نفسها.

كيف تحسب إنتروبيا شانون يدوياً؟ احسب عدد مرات ظهور كل قيمة مميزة، واقسم كل عدد على المجموع للحصول على الاحتمالات، واضرب كل احتمال في لوغاريتمه ذي الأساس 2، ثم اجمع النتائج واضربها في −1.

هل يمكن أن تكون الإنتروبيا سالبة؟ لا. أدنى قيمة ممكنة هي 0 بت، وتحدث عندما تكون كل قيمة في مجموعة البيانات متطابقة.

ما أقصى إنتروبيا لمجموعة بيانات؟ الحد الأقصى هو log₂(n) بتات، حيث n هو عدد القيم المميزة، ولا يتحقق إلا عندما تظهر كل قيمة مميزة بالعدد نفسه من المرات.

هل يوجد حد لحجم مجموعة البيانات؟ نعم. تقبل هذه الحاسبة ما يصل إلى 100,000 قيمة في مجموعة بيانات واحدة. وتؤدي المدخلات الأكبر إلى ظهور خطأ.

كيف تختلف الإنتروبيا عن التباين؟ يقيس التباين مدى تشتت القيم العددية حول متوسطها. أما الإنتروبيا فتقيس مدى عدم قابلية التنبؤ بنمط النتائج، اعتماداً على الاحتمالات فقط، بصرف النظر عن الحجم الفعلي للأعداد.

المراجع

1. شانون، C. E. (1948). نظرية رياضية في الاتصال. مجلة بيل للنظم التقنية، 27(3)، 379–423.
2. كوفر، T. M.، وتوماس، J. A. (2006). أسس نظرية المعلومات (الطبعة 2). وايلي-إنترساينس.
3. ماكاي، D. J. C. (2003). نظرية المعلومات والاستدلال وخوارزميات التعلّم. مطبعة جامعة كامبريدج.