Kalkulačka entropie - Počítejte Shannonovu entropii online zdarma

Co je kalkulačka entropie?

Kalkulačka entropie určuje Shannonovu entropii souboru čísel. Shannonova entropie je způsob měření nepředvídatelnosti datového souboru. Datový soubor, ve kterém jsou všechny hodnoty stejné, má nulovou entropii, protože v něm není nic nejistého. Datový soubor, ve kterém má každá hodnota stejnou pravděpodobnost výskytu, má pro svou velikost nejvyšší možnou entropii.

Tato myšlenka pochází z teorie informace, oboru, který v 1948 založil americký matematik Claude Shannon. Shannon chtěl měřit, kolik informace zpráva obsahuje. Entropii definoval jako průměrné množství „překvapení“ v posloupnosti symbolů. Stejný vzorec se dnes používá v datové vědě, kryptografii, biologii a strojovém učení, tedy všude, kde je potřeba měřit náhodnost souboru výsledků.

Vzorec Shannonovy entropie

Pro datový soubor s jedinečnými hodnotami x₁ až xₙ, z nichž každá se vyskytuje s pravděpodobností p(xᵢ), je Shannonova entropie H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Slovně: u každé jedinečné hodnoty vynásobte její pravděpodobnost logaritmem této pravděpodobnosti o základu 2, všechny tyto součiny sečtěte a poté změňte znaménko výsledku. Výsledek je vždy nulový nebo kladný.

Tato kalkulačka vždy používá logaritmy o základu 2, takže výsledek se udává v bitech. Pro jiné účely existují i jiné základy: přirozený logaritmus dává jednotky zvané naty a základ 10 jednotky zvané hartley. Bity jsou standardní jednotkou ve výpočetní technice a teorii informace, a proto tato kalkulačka používá základ 2.

Proč výsledek nemůže být záporný

Každá pravděpodobnost p(xᵢ) leží mezi 0 a 1, takže její logaritmus je nulový nebo záporný. Vynásobením pravděpodobnosti záporným nebo nulovým logaritmem vznikne záporné nebo nulové číslo. Součet těchto hodnot po změně znaménka vždy dává nulu nebo kladné číslo.

Maximální možná entropie

U datového souboru s n jedinečnými hodnotami je entropie nejvyšší tehdy, když se každá hodnota vyskytuje stejně často. Toto maximum se rovná log₂(n) bitů. Datový soubor s 4 stejně často se vyskytujícími jedinečnými hodnotami může dosáhnout nejvýše 2 bitů entropie, protože log₂(4) = 2. Jakékoli nerovnoměrné rozložení stejných 4 hodnot vede k nižší entropii.

Jak vypočítat entropii: krok za krokem

1. Uveďte jedinečné hodnoty v datovém souboru a spočítejte, kolikrát se každá z nich vyskytuje.
2. Vydělte každý počet celkovým počtem hodnot, abyste získali pravděpodobnost každé jedinečné hodnoty.
3. Vypočítejte logaritmus každé pravděpodobnosti o základu 2 a poté ho vynásobte touto pravděpodobností.
4. Sečtěte všechny tyto součiny a poté vynásobte jejich součet hodnotou −1.

Tato kalkulačka provede stejné čtyři kroky automaticky. Zadejte čísla do vstupního pole oddělená mezerami nebo čárkami, zvolte odpovídající formát a okamžitě se zobrazí entropie, tabulka pravděpodobností a sloupcový graf. V tabulce pod výsledkem je u každého jedinečného čísla uvedena jeho hodnota, počet výskytů, pravděpodobnost a výraz p(x) × log₂(p(x)), takže je vidět celý postup, nejen konečný výsledek.

Pravidla pro zadávání

• Přijímají se pouze číselné hodnoty: celá čísla, desetinná čísla i záporná čísla fungují.
• Hodnoty se oddělují mezerami (příklad: 1 2 3 4) nebo čárkami (příklad: 1,2,3,4) podle zvoleného formátu.
• Datový soubor může obsahovat až 100 000 hodnot. Zadání většího počtu vyvolá chybové hlášení s požadavkem na menší datový soubor.
• Vědecký zápis je podporován, takže 1e3 se načte jako 1000.
• Text, symboly nebo prázdné položky mezi oddělovači jsou odmítnuty chybovým hlášením, nikoli tiše ignorovány.
• Příliš velké číslo, které počítač nedokáže uložit, například 1e400, je rovněž odmítnuto. Největší hodnota, kterou kalkulačka dokáže uchovat, je přibližně 1,8 x 10^308.

Příklad výpočtu

Uvažujme datový soubor 1 2 3 1 2 1, který obsahuje šest čísel.

Nejprve spočítejte výskyt každé jedinečné hodnoty:

Dále použijte vzorec pro každý řádek a výsledky sečtěte:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bity}$

Datový soubor má 3 jedinečné hodnoty, takže maximální možná entropie je log₂(3) ≈ 1,585 bitů. Skutečný výsledek, 1,4591 bitů, je nižší než toto maximum, protože hodnota 1 se vyskytuje častěji než ostatní, takže datový soubor je o něco méně náhodný než při dokonale rovnoměrném rozdělení.

Datový soubor bez nejistoty

Datový soubor 5 5 5 5 5 obsahuje pouze jednu jedinečnou hodnotu, takže její pravděpodobnost je 1. Protože log₂(1) = 0, každý člen součtu je nulový a entropie je přesně 0 bitů. U datového souboru, ve kterém jsou všechny hodnoty stejné, není nic nejistého.

Jak výsledek číst

• Entropie blízká hodnotě 0 znamená, že data jsou opakující se a předvídatelná. Převládá jedna nebo několik málo hodnot.
• Entropie blízká hodnotě log₂(n), kde n je počet jedinečných hodnot, znamená, že data jsou téměř rovnoměrně rozložena mezi všechny své jedinečné hodnoty.
• Entropie přesně 0 znamená, že všechny hodnoty v datovém souboru jsou stejné.

Entropie sama o sobě neříká, zda je datový soubor „dobrý“, nebo „špatný“. Generátor hesel potřebuje vysokou entropii, protože díky ní se heslo obtížně odhaduje. Senzor, který má měřit konstantní teplotu, potřebuje nízkou entropii, protože to znamená, že měření je stabilní.

Kde se Shannonova entropie používá

• Strojové učení: algoritmy rozhodovacích stromů používají entropii k určení, který příznak nejlépe rozdělí datový soubor na předvídatelné skupiny.
• Komprese dat: entropie určuje teoretickou mez, na jakou nejmenší velikost lze soubor zkomprimovat bez ztráty informace.
• Kryptografie: entropie měří nepředvídatelnost hesla nebo kryptografického klíče.
• Genetika: entropie může upozornit na neobvyklé nebo velmi proměnlivé oblasti v sekvenci DNA.
• Analýza textu: pokud se písmena nebo slova považují za „hodnoty“, entropie umožňuje měřit předvídatelnost části textu.

Často kladené otázky

Co je entropie v teorii informace? Je to číslo, které měří nejistotu nebo nepředvídatelnost datového souboru. Vypočítává se z pravděpodobností jednotlivých jedinečných hodnot v datech, nikoli ze samotných hodnot.

Jak se Shannonova entropie počítá ručně? Spočítejte, kolikrát se každá jedinečná hodnota vyskytuje, vydělte každý počet celkovým počtem a získejte pravděpodobnosti, vynásobte každou pravděpodobnost jejím logaritmem o základu 2, výsledky sečtěte a součet vynásobte hodnotou −1.

Může být entropie záporná? Ne. Nejnižší možná hodnota je 0 bitů a nastává tehdy, když jsou všechny hodnoty v datovém souboru stejné.

Jaká je maximální entropie datového souboru? Maximum je log₂(n) bitů, kde n je počet jedinečných hodnot, a nastává pouze tehdy, když se každá jedinečná hodnota vyskytuje stejně často.

Existuje omezení velikosti datového souboru? Ano. Tato kalkulačka přijímá v jednom datovém souboru nejvýše 100 000 hodnot. Větší vstupy vracejí chybu.

Jak se entropie liší od rozptylu? Rozptyl měří, jak jsou číselné hodnoty rozptýleny kolem svého průměru. Entropie měří nepředvídatelnost vzorce výskytů pouze na základě pravděpodobností, bez ohledu na skutečnou velikost čísel.

Reference

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2. vydání). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.