Kalkulačka entropie - Počítejte Shannonovu entropii online zdarma

Co je kalkulačka entropie?

Kalkulačka entropie určuje Shannonovu entropii souboru čísel. Shannonova entropie je způsob měření nepředvídatelnosti datového souboru. Datový soubor, ve kterém jsou všechny hodnoty stejné, má nulovou entropii, protože v něm není nic nejistého. Datový soubor, ve kterém má každá hodnota stejnou pravděpodobnost výskytu, má pro svou velikost nejvyšší možnou entropii.

Myšlenka pochází z teorie informace, oboru, který založil americký matematik Claude Shannon ve své práci z roku 1948 A Mathematical Theory of Communication. Shannon chtěl změřit, kolik informace zpráva nese. Entropii definoval jako průměrnou míru „překvapení“ v posloupnosti symbolů. Stejný vzorec se dnes objevuje v datové vědě, kryptografii, biologii a strojovém učení, tedy všude, kde je třeba změřit náhodnost v souboru výsledků.

Vzorec Shannonovy entropie

Pro datový soubor s jedinečnými hodnotami x₁ až xₙ, z nichž každá se vyskytuje s pravděpodobností p(xᵢ), je Shannonova entropie H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Slovně: u každé jedinečné hodnoty vynásobte její pravděpodobnost logaritmem této pravděpodobnosti o základu 2, všechny tyto součiny sečtěte a poté změňte znaménko výsledku. Výsledek je vždy nulový nebo kladný.

Tato kalkulačka vždy používá logaritmy o základu 2, takže výsledek se měří v bitech. Shannon poznamenal, že volba základu logaritmu je volbou jednotky: základ 2 dává bity, základ 10 dává dekadické číslice a přirozený logaritmus (základ e) dává přirozené jednotky. Bity jsou běžnou jednotkou v informatice, a proto se tato kalkulačka drží základu 2.

Proč výsledek nemůže být záporný

Každá pravděpodobnost p(xᵢ) leží mezi 0 a 1, takže její logaritmus je nulový nebo záporný. Vynásobením pravděpodobnosti záporným nebo nulovým logaritmem vznikne záporné nebo nulové číslo. Součet těchto hodnot po změně znaménka vždy dává nulu nebo kladné číslo.

Maximální možná entropie

U datového souboru s n jedinečnými hodnotami je entropie nejvyšší, když se každá hodnota vyskytuje stejně často. Shannon ukázal, že toto maximum se rovná log(n), což při měření v bitech je log₂(n). Datový soubor se 4 stejně častými jedinečnými hodnotami může dosáhnout nejvýše 2 bitů entropie, protože log₂(4) = 2. Jakékoli nerovnoměrné rozdělení týchž 4 hodnot dává nižší entropii.

Jak vypočítat entropii: krok za krokem

1. Uveďte jedinečné hodnoty v datovém souboru a spočítejte, kolikrát se každá z nich vyskytuje.
2. Vydělte každý počet celkovým počtem hodnot, abyste získali pravděpodobnost každé jedinečné hodnoty.
3. Vypočítejte logaritmus každé pravděpodobnosti o základu 2 a poté ho vynásobte touto pravděpodobností.
4. Sečtěte všechny tyto součiny a poté vynásobte jejich součet hodnotou −1.

Tato kalkulačka provede stejné čtyři kroky automaticky. Zadejte čísla do vstupního pole oddělená mezerami nebo čárkami, zvolte odpovídající formát a okamžitě se zobrazí entropie, tabulka pravděpodobností a sloupcový graf. V tabulce pod výsledkem je u každého jedinečného čísla uvedena jeho hodnota, počet výskytů, pravděpodobnost a výraz p(x) × log₂(p(x)), takže je vidět celý postup, nejen konečný výsledek.

Pravidla pro zadávání

• Přijímají se pouze číselné hodnoty: celá čísla, desetinná čísla, záporná čísla i vědecký zápis, například 1e3.
• Hodnoty se oddělují mezerami (příklad: 1 2 3 4) nebo čárkami (příklad: 1,2,3,4) podle zvoleného formátu.
• Datový soubor může obsahovat až 100 000 hodnot. Zadání většího počtu vyvolá chybové hlášení s požadavkem na menší datový soubor.
• Text, symboly nebo prázdné položky mezi oddělovači jsou odmítnuty chybovým hlášením, nikoli tiše ignorovány.

Praktický příklad

Uvažujme datový soubor 1 2 3 1 2 1, který obsahuje šest čísel.

Nejprve spočítejte výskyt každé jedinečné hodnoty:

Dále použijte vzorec pro každý řádek a výsledky sečtěte:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bity}$

Datový soubor má 3 jedinečné hodnoty, takže maximální možná entropie je log₂(3) ≈ 1,585 bitu. Skutečný výsledek, 1,4591 bitu, je nižší než toto maximum, protože hodnota 1 se vyskytuje častěji než ostatní, takže datový soubor je o něco méně náhodný než při dokonale rovnoměrném rozdělení.

Datový soubor bez nejistoty

Datový soubor 5 5 5 5 5 obsahuje pouze jednu jedinečnou hodnotu, takže její pravděpodobnost je 1. Protože log₂(1) = 0, každý člen součtu je nulový a entropie je přesně 0 bitů. U datového souboru, ve kterém jsou všechny hodnoty stejné, není nic nejistého.

Jak výsledek číst

• Entropie blízká hodnotě 0 znamená, že data jsou opakující se a předvídatelná. Převládá jedna nebo několik málo hodnot.
• Entropie blízká hodnotě log₂(n), kde n je počet jedinečných hodnot, znamená, že data jsou téměř rovnoměrně rozložena mezi všechny své jedinečné hodnoty.
• Entropie přesně 0 znamená, že všechny hodnoty v datovém souboru jsou stejné.

Entropie sama o sobě neříká, zda je datový soubor „dobrý“, nebo „špatný“. Generátor hesel potřebuje vysokou entropii, protože díky ní se heslo obtížně odhaduje. Senzor, který má měřit konstantní teplotu, potřebuje nízkou entropii, protože to znamená, že měření je stabilní.

Kde se Shannonova entropie používá

• Strojové učení: algoritmy rozhodovacích stromů používají entropii k určení, který příznak nejlépe rozdělí datový soubor na předvídatelné skupiny.
• Komprese dat: entropie určuje teoretickou mez, na jakou nejmenší velikost lze soubor zkomprimovat bez ztráty informace.
• Kryptografie: entropie měří nepředvídatelnost hesla nebo kryptografického klíče.
• Genetika: entropie může upozornit na neobvyklé nebo velmi proměnlivé oblasti v sekvenci DNA.
• Analýza textu: pokud se písmena nebo slova považují za „hodnoty“, entropie umožňuje měřit předvídatelnost části textu.

Často kladené otázky

Co je entropie v teorii informace? Je to číslo, které měří nejistotu nebo nepředvídatelnost datového souboru. Vypočítává se z pravděpodobností jednotlivých jedinečných hodnot v datech, nikoli ze samotných hodnot.

Jak se Shannonova entropie počítá ručně? Spočítejte, kolikrát se každá jedinečná hodnota vyskytuje, vydělte každý počet celkovým počtem a získejte pravděpodobnosti, vynásobte každou pravděpodobnost jejím logaritmem o základu 2, výsledky sečtěte a součet vynásobte hodnotou −1.

Může být entropie záporná? Ne. Nejnižší možná hodnota je 0 bitů a nastává tehdy, když jsou všechny hodnoty v datovém souboru stejné.

Jaká je maximální entropie datového souboru? Maximum je log₂(n) bitů, kde n je počet jedinečných hodnot, a nastává pouze tehdy, když se každá jedinečná hodnota vyskytuje stejně často.

Existuje omezení velikosti datového souboru? Ano. Tato kalkulačka přijímá v jednom datovém souboru nejvýše 100 000 hodnot. Větší vstupy vracejí chybu.

Jak se entropie liší od rozptylu? Rozptyl měří, jak jsou číselné hodnoty rozptýleny kolem svého průměru. Entropie měří nepředvídatelnost vzorce výskytů pouze na základě pravděpodobností, bez ohledu na skutečnou velikost čísel.

Reference

1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948 (dotisk umístěný na Harvardově univerzitě). harvard.edu — původ teorie informace z roku 1948, jednotka "bits" o základu 2 a další základy, nulová entropie pouze pro jistý výsledek a maximum log(n) pro stejné pravděpodobnosti.