Калькулятор ентропії - Онлайн-розрахунок ентропії Шеннона безкоштовно

Що таке калькулятор ентропії?

Калькулятор ентропії визначає ентропію Шеннона для набору чисел. Ентропія Шеннона — це спосіб виміряти непередбачуваність набору даних. Набір даних, у якому всі значення однакові, має нульову ентропію, оскільки в ньому немає нічого невизначеного. Набір даних, у якому кожне значення має однакову ймовірність появи, має максимально можливу для свого розміру ентропію.

Ця ідея походить із теорії інформації — галузі, започаткованої американським математиком Клодом Шенноном у 1948 році. Шеннон прагнув виміряти, скільки інформації містить повідомлення. Він визначив ентропію як середню кількість «несподіваності» в послідовності символів. Та сама формула тепер використовується в науці про дані, криптографії, біології та машинному навчанні — скрізь, де потрібно виміряти випадковість набору результатів.

Формула ентропії Шеннона

Для набору даних з унікальними значеннями від x₁ до xₙ, кожне з яких з’являється з імовірністю p(xᵢ), ентропія Шеннона H дорівнює:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Словами: для кожного унікального значення помножте його ймовірність на логарифм за основою 2 цієї ймовірності, складіть усі такі добутки, а потім змініть знак результату на протилежний. Результат завжди дорівнює нулю або є додатним.

Цей калькулятор завжди використовує логарифми за основою 2, тому результат вимірюється в бітах. Для інших цілей використовують інші основи: натуральний логарифм дає одиниці, що називаються натами, а основа 10 — одиниці, що називаються гартлі. Біти є стандартною одиницею в обчислювальній техніці та теорії інформації, тому цей калькулятор використовує основу 2.

Чому результат не може бути від’ємним

Кожна ймовірність p(xᵢ) лежить між 0 і 1, тому її логарифм дорівнює нулю або є від’ємним. Добуток ймовірності на від’ємний або нульовий логарифм дає від’ємне або нульове число. Сума таких добутків зі зміною знака завжди дає нуль або додатне число.

Максимально можлива ентропія

Для набору даних із n унікальними значеннями ентропія є найбільшою, коли кожне значення трапляється однаково часто. Цей максимум дорівнює log₂(n) бітам. Набір даних із 4 однаково поширеними унікальними значеннями може мати ентропію не більш як 2 біти, оскільки log₂(4) = 2. Будь-який нерівномірний розподіл тих самих 4 значень дає нижчу ентропію.

Як обчислити ентропію: покроково

1. Перелічіть унікальні значення в наборі даних і порахуйте, скільки разів трапляється кожне з них.
2. Поділіть кожну кількість на загальну кількість значень, щоб отримати ймовірність кожного унікального значення.
3. Обчисліть логарифм за основою 2 для кожної ймовірності, а потім помножте його на ту саму ймовірність.
4. Додайте всі ці добутки, а потім помножте суму на −1.

Цей калькулятор автоматично виконує ті самі чотири кроки. Введіть числа в поле, розділяючи їх пробілами або комами, виберіть відповідний формат — і одразу з’являться ентропія, таблиця ймовірностей і стовпчикова діаграма. У таблиці під результатом для кожного унікального числа показано значення, кількість, ймовірність і p(x) × log₂(p(x)), тож видно весь розрахунок, а не лише остаточну відповідь.

Правила введення

• Приймаються лише числові значення: цілі, десяткові та від’ємні числа.
• Значення розділяються пробілами (приклад: 1 2 3 4) або комами (приклад: 1,2,3,4), залежно від вибраного формату.
• Набір даних може містити до 100 000 значень. Якщо ввести більше, з’явиться повідомлення про помилку з проханням використати менший набір даних.
• Науковий запис підтримується, тому 1e3 розпізнається як 1000.
• Текст, символи або порожні елементи між роздільниками відхиляються з повідомленням про помилку, а не ігноруються мовчки.
• Занадто велике для зберігання комп’ютером число, наприклад 1e400, також відхиляється. Найбільше значення, яке може зберігати калькулятор, становить приблизно 1,8 x 10^308.

Приклад обчислення

Розглянемо набір даних 1 2 3 1 2 1, який містить шість чисел.

Спочатку порахуємо кожне унікальне значення:

Далі застосуємо формулу до кожного рядка й додамо результати:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ біти}$

Набір даних має 3 унікальні значення, тому максимально можлива ентропія дорівнює log₂(3) ≈ 1,585 бітів. Фактичний результат, 1,4591 біта, нижчий за цей максимум, оскільки значення 1 трапляється частіше за інші, через що набір даних трохи менш випадковий, ніж за ідеально рівномірного розподілу.

Набір даних без невизначеності

Набір даних 5 5 5 5 5 має лише одне унікальне значення, тому його ймовірність дорівнює 1. Оскільки log₂(1) = 0, кожен доданок у сумі дорівнює нулю, а ентропія становить рівно 0 бітів. У наборі даних, де всі значення однакові, немає нічого невизначеного.

Інтерпретація результату

• Ентропія, близька до 0, означає, що дані повторюються й передбачувані. Переважає одне або кілька значень.
• Ентропія, близька до log₂(n), де n — кількість унікальних значень, означає, що дані розподілені майже рівномірно між усіма унікальними значеннями.
• Ентропія, що точно дорівнює 0, означає, що всі значення в наборі даних однакові.

Сама по собі ентропія не показує, чи є набір даних «хорошим» або «поганим». Генератор паролів прагне високої ентропії, оскільки тоді пароль важче вгадати. Датчик, який має показувати сталу температуру, потребує низької ентропії, оскільки це означає стабільність показань.

Де використовується ентропія Шеннона

• Машинне навчання: алгоритми дерев рішень використовують ентропію, щоб визначити, яка ознака найкраще розділяє набір даних на передбачувані групи.
• Стиснення даних: ентропія визначає теоретичну межу того, наскільки можна стиснути файл без втрати інформації.
• Криптографія: ентропія вимірює непередбачуваність пароля або криптографічного ключа.
• Генетика: ентропія може виявити незвичайні або дуже мінливі ділянки в послідовності ДНК.
• Аналіз тексту: якщо розглядати літери або слова як «значення», ентропія дає змогу виміряти передбачуваність фрагмента тексту.

Поширені запитання

Що таке ентропія в теорії інформації? Це число, що вимірює невизначеність або непередбачуваність набору даних. Її обчислюють на основі ймовірностей кожного унікального значення в даних, а не самих значень.

Як обчислити ентропію Шеннона вручну? Порахуйте, як часто трапляється кожне унікальне значення, поділіть кожну кількість на загальну, щоб отримати ймовірності, помножте кожну ймовірність на її логарифм за основою 2, складіть результати й помножте їх на −1.

Чи може ентропія бути від’ємною? Ні. Найменше можливе значення — 0 бітів; воно виникає, коли всі значення в наборі даних однакові.

Яка максимальна ентропія набору даних? Максимум дорівнює log₂(n) бітам, де n — кількість унікальних значень; він досягається лише тоді, коли кожне унікальне значення трапляється однаково часто.

Чи існує обмеження на розмір набору даних? Так. Цей калькулятор приймає до 100 000 значень в одному наборі даних. Більші набори спричиняють помилку.

Чим ентропія відрізняється від дисперсії? Дисперсія вимірює розсіювання числових значень навколо їхнього середнього. Ентропія вимірює непередбачуваність послідовності результатів, ґрунтуючись лише на ймовірностях, незалежно від фактичного розміру чисел.

Джерела

1. Шеннон, К. Е. (1948). Математична теорія зв’язку. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., і Thomas, J. A. (2006). Elements of Information Theory (2-ге вид.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.