Kalkulačka entropie - Vypočítajte Shannonovu entropiu online zadarmo

Čo je kalkulačka entropie?

Kalkulačka entropie vypočíta Shannonovu entropiu množiny čísel. Shannonova entropia je spôsob merania toho, nakoľko je súbor údajov nepredvídateľný. Súbor údajov, v ktorom sú všetky hodnoty rovnaké, má nulovú entropiu, pretože v ňom nie je nič neisté. Súbor údajov, v ktorom je pravdepodobnosť výskytu každej hodnoty rovnaká, má pri danej veľkosti najvyššiu možnú entropiu.

Táto myšlienka pochádza z teórie informácie, odboru, ktorý založil americký matematik Claude Shannon v roku 1948. Shannon chcel zmerať, koľko informácie nesie správa. Entropiu definoval ako priemerné množstvo „prekvapenia“ v postupnosti symbolov. Rovnaký vzorec sa dnes používa v dátovej vede, kryptografii, biológii a strojovom učení, všade tam, kde treba merať náhodnosť množiny výsledkov.

Vzorec Shannonovej entropie

Pre súbor údajov s jedinečnými hodnotami od x₁ po xₙ, z ktorých každá sa vyskytuje s pravdepodobnosťou p(xᵢ), je Shannonova entropia H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Slovne: pri každej jedinečnej hodnote vynásobte jej pravdepodobnosť logaritmom tejto pravdepodobnosti so základom 2, všetky tieto súčiny sčítajte a potom zmeňte znamienko výsledku. Výsledok je vždy nulový alebo kladný.

Táto kalkulačka vždy používa logaritmy so základom 2, takže výsledok sa uvádza v bitoch. Na iné účely existujú aj iné základy: prirodzený logaritmus dáva jednotku nazývanú nat a základ 10 jednotku nazývanú hartley. Bity sú štandardnou jednotkou vo výpočtovej technike a teórii informácie, preto táto kalkulačka používa základ 2.

Prečo výsledok nemôže byť záporný

Každá pravdepodobnosť p(xᵢ) je medzi 0 a 1, takže jej logaritmus je nulový alebo záporný. Vynásobením pravdepodobnosti záporným alebo nulovým logaritmom vznikne záporné alebo nulové číslo. Súčet takýchto hodnôt po zmene znamienka vždy poskytne výsledok rovný nule alebo väčší než nula.

Najvyššia možná entropia

Pri súbore údajov s n jedinečnými hodnotami je entropia najvyššia vtedy, keď sa každá hodnota vyskytuje rovnako často. Toto maximum sa rovná log₂(n) bitov. Súbor údajov so 4 rovnako často sa vyskytujúcimi jedinečnými hodnotami môže mať najviac 2 bitov entropie, pretože log₂(4) = 2. Akékoľvek nerovnomerné rozdelenie tých istých 4 hodnôt má nižšiu entropiu.

Ako vypočítať entropiu: krok za krokom

1. Vypíšte jedinečné hodnoty v súbore údajov a spočítajte, koľkokrát sa každá z nich vyskytuje.
2. Vydeľte každý počet celkovým počtom hodnôt, aby ste získali pravdepodobnosť každej jedinečnej hodnoty.
3. Vypočítajte logaritmus každej pravdepodobnosti so základom 2 a potom ho vynásobte tou istou pravdepodobnosťou.
4. Sčítajte všetky tieto súčiny a potom ich súčet vynásobte hodnotou −1.

Táto kalkulačka vykonáva tie isté štyri kroky automaticky. Zadajte čísla do vstupného poľa, oddeľte ich medzerami alebo čiarkami, vyberte príslušný formát a okamžite sa zobrazí entropia, tabuľka pravdepodobností a stĺpcový graf. Tabuľka pod výsledkom zobrazuje pre každé jedinečné číslo hodnotu, počet výskytov, pravdepodobnosť a výraz p(x) × log₂(p(x)), takže je viditeľný celý výpočet, nielen konečná odpoveď.

Pravidlá pre vstup

• Prijímajú sa iba číselné hodnoty: celé čísla, desatinné čísla aj záporné čísla fungujú.
• Hodnoty sa oddeľujú medzerami (príklad: 1 2 3 4) alebo čiarkami (príklad: 1,2,3,4) podľa vybraného formátu.
• Súbor údajov môže obsahovať najviac 100 000 hodnôt. Zadanie väčšieho počtu vyvolá chybové hlásenie s požiadavkou na menší súbor údajov.
• Akceptuje sa aj vedecký zápis, takže 1e3 sa interpretuje ako 1000.
• Text, symboly alebo prázdne položky medzi oddeľovačmi sa odmietnu s chybou, namiesto toho, aby sa ticho ignorovali.
• Odmietne sa aj číslo príliš veľké na uloženie v počítači, napríklad 1e400. Najväčšia hodnota, ktorú kalkulačka dokáže uložiť, je približne 1,8 x 10^308.

Vyriešený príklad

Uvažujme súbor údajov 1 2 3 1 2 1, ktorý obsahuje šesť čísel.

Najprv spočítajme každú jedinečnú hodnotu:

Ďalej použijeme vzorec na každý riadok a výsledky sčítame:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bity}$

Súbor údajov má 3 jedinečné hodnoty, takže maximálna možná entropia je log₂(3) ≈ 1,585 bitov. Skutočný výsledok, 1,4591 bitov, je nižší než toto maximum, pretože hodnota 1 sa vyskytuje častejšie než ostatné, takže súbor údajov je o niečo menej náhodný než pri dokonale rovnomernom rozdelení.

Súbor údajov bez neistoty

Súbor údajov 5 5 5 5 5 má iba jednu jedinečnú hodnotu, takže jej pravdepodobnosť je 1. Keďže log₂(1) = 0, každý člen súčtu je nulový a entropia je presne 0 bitov. V súbore údajov, v ktorom sú všetky hodnoty rovnaké, nie je nič neisté.

Vyhodnotenie výsledku

• Entropia blízka 0 znamená, že údaje sú opakujúce sa a predvídateľné. Prevláda jedna alebo niekoľko hodnôt.
• Entropia blízka hodnote log₂(n), kde n je počet jedinečných hodnôt, znamená, že údaje sú takmer rovnomerne rozdelené medzi všetky jedinečné hodnoty.
• Entropia presne 0 znamená, že každá hodnota v súbore údajov je rovnaká.

Entropia sama osebe nehovorí, či je súbor údajov „dobrý“ alebo „zlý“. Generátor hesiel potrebuje vysokú entropiu, pretože vďaka nej sa heslo ťažšie uhádne. Snímač, ktorý má zaznamenávať konštantnú teplotu, potrebuje nízku entropiu, pretože to znamená, že meranie je stabilné.

Kde sa používa Shannonova entropia

• Strojové učenie: algoritmy rozhodovacích stromov používajú entropiu na určenie, ktorá vlastnosť najlepšie rozdelí súbor údajov na predvídateľné skupiny.
• Kompresia údajov: entropia určuje teoretickú hranicu, na akú malú veľkosť možno súbor skomprimovať bez straty informácií.
• Kryptografia: entropia meria, nakoľko je heslo alebo kryptografický kľúč nepredvídateľný.
• Genetika: entropia môže upozorniť na nezvyčajné alebo veľmi variabilné oblasti v sekvencii DNA.
• Analýza textu: ak považujeme písmená alebo slová za „hodnoty“, entropia umožňuje zmerať, nakoľko je časť textu predvídateľná.

Najčastejšie otázky

Čo je entropia v teórii informácie? Je to číslo, ktoré meria neistotu alebo nepredvídateľnosť súboru údajov. Vypočítava sa z pravdepodobností jednotlivých jedinečných hodnôt v údajoch, nie zo samotných hodnôt.

Ako vypočítať Shannonovu entropiu ručne? Spočítajte, ako často sa každá jedinečná hodnota vyskytuje, každý počet vydeľte celkovým počtom a získajte pravdepodobnosti, každú pravdepodobnosť vynásobte jej logaritmom so základom 2, výsledky sčítajte a súčet vynásobte hodnotou −1.

Môže byť entropia záporná? Nie. Najnižšia možná hodnota je 0 bitov a nastáva vtedy, keď je každá hodnota v súbore údajov rovnaká.

Aká je maximálna entropia súboru údajov? Maximum je log₂(n) bitov, kde n je počet jedinečných hodnôt, a nastáva iba vtedy, keď sa každá jedinečná hodnota vyskytuje rovnako často.

Existuje obmedzenie veľkosti súboru údajov? Áno. Táto kalkulačka prijíma v jednom súbore údajov najviac 100 000 hodnôt. Väčšie vstupy vrátia chybu.

Ako sa entropia líši od rozptylu? Rozptyl meria, ako sú číselné hodnoty rozptýlené okolo svojho priemeru. Entropia meria, nakoľko je vzorec výsledkov nepredvídateľný, a to iba na základe pravdepodobností bez ohľadu na skutočnú veľkosť čísel.

Referencie

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M. a Thomas, J. A. (2006). Elements of Information Theory (2. vydanie). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.