Kalkulator entropije - Izračunajte Shannonovu entropiju besplatno online

Što je kalkulator entropije?

Kalkulator entropije određuje Shannonovu entropiju skupa brojeva. Shannonova entropija način je mjerenja nepredvidljivosti skupa podataka. Skup podataka u kojem je svaka vrijednost jednaka ima entropiju nula jer u njemu nema ničega neizvjesnog. Skup podataka u kojem je jednako vjerojatno pojavljivanje svake vrijednosti ima najveću moguću entropiju za svoju veličinu.

Ideja potječe iz teorije informacija, područja koje je američki matematičar Claude Shannon započeo 1948. Shannon je želio izmjeriti koliko informacija nosi neka poruka. Entropiju je definirao kao prosječnu količinu „iznenađenja” u nizu simbola. Ista se formula danas primjenjuje u znanosti o podacima, kriptografiji, biologiji i strojnom učenju, svugdje gdje treba izmjeriti slučajnost skupa ishoda.

Formula Shannonove entropije

Za skup podataka s jedinstvenim vrijednostima od x₁ do xₙ, pri čemu se svaka pojavljuje s vjerojatnošću p(xᵢ), Shannonova entropija H iznosi:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Riječima: za svaku jedinstvenu vrijednost pomnožite njezinu vjerojatnost s logaritmom te vjerojatnosti uz bazu 2, zbrojite sve te umnoške, a zatim promijenite predznak. Rezultat je uvijek nula ili pozitivan.

Ovaj kalkulator uvijek upotrebljava logaritme s bazom 2, pa se rezultat izražava u bitovima. Za druge namjene postoje i druge baze: prirodni logaritam daje jedinice koje se nazivaju natima, a baza 10 daje jedinice koje se nazivaju hartleyji. Bitovi su standardna jedinica u računarstvu i teoriji informacija, zbog čega ovaj kalkulator upotrebljava bazu 2.

Zašto rezultat ne može biti negativan

Svaka vjerojatnost p(xᵢ) nalazi se između 0 i 1, pa je njezin logaritam nula ili negativan. Množenjem vjerojatnosti s negativnim ili nultim logaritmom dobiva se negativan broj ili nula. Zbrajanjem tih vrijednosti i promjenom predznaka uvijek se dobiva rezultat nula ili veći.

Najveća moguća entropija

U skupu podataka s n jedinstvenih vrijednosti entropija je najveća kada se svaka vrijednost pojavljuje jednako često. Taj maksimum iznosi log₂(n) bitova. Skup podataka s 4 jedinstvenih vrijednosti koje se pojavljuju jednako često može imati najviše 2 bita entropije jer je log₂(4) = 2. Svaka nejednolika raspodjela istih 4 vrijednosti daje manju entropiju.

Kako izračunati entropiju: korak po korak

1. Navedite jedinstvene vrijednosti u skupu podataka i prebrojite koliko se puta svaka pojavljuje.
2. Podijelite svaki broj pojavljivanja s ukupnim brojem vrijednosti da biste dobili vjerojatnost svake jedinstvene vrijednosti.
3. Izračunajte logaritam svake vjerojatnosti uz bazu 2, a zatim ga pomnožite s tom istom vjerojatnošću.
4. Zbrojite sve te umnoške, a zatim dobiveni zbroj pomnožite s −1.

Ovaj kalkulator automatski obavlja ista četiri koraka. Unesite brojeve u polje za unos, odvojene razmacima ili zarezima, odaberite odgovarajući format i odmah će se prikazati entropija, tablica vjerojatnosti i stupčasti grafikon. U tablici ispod rezultata prikazani su vrijednost, broj pojavljivanja, vjerojatnost i p(x) × log₂(p(x)) za svaki jedinstveni broj, pa je vidljiv i postupak izračuna, a ne samo konačni rezultat.

Pravila unosa

• Prihvaćaju se samo numeričke vrijednosti: cijeli brojevi, decimalni brojevi i negativni brojevi.
• Vrijednosti se odvajaju razmacima (primjer: 1 2 3 4) ili zarezima (primjer: 1,2,3,4), ovisno o odabranom formatu.
• Skup podataka može sadržavati najviše 100.000 vrijednosti. Unos većeg broja vrijednosti uzrokuje poruku o pogrešci koja traži manji skup podataka.
• Prihvaća se znanstveni zapis, pa se 1e3 čita kao 1000.
• Tekst, simboli ili prazni unosi između razdjelnika odbijaju se uz poruku o pogrešci, umjesto da se prešutno zanemare.
• Odbija se i broj prevelik za pohranu u računalu, kao što je 1e400. Najveća vrijednost koju kalkulator može pohraniti iznosi približno 1,8 x 10^308.

Primjer s rješenjem

Uzmimo skup podataka 1 2 3 1 2 1, koji sadržava šest brojeva.

Najprije prebrojimo svaku jedinstvenu vrijednost:

Zatim primijenimo formulu na svaki redak i zbrojimo rezultate:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bitovi}$

Skup podataka ima 3 jedinstvene vrijednosti, pa je najveća moguća entropija log₂(3) ≈ 1,585 bitova. Stvarni rezultat, 1,4591 bitova, manji je od tog maksimuma jer se vrijednost 1 pojavljuje češće od ostalih, zbog čega je skup podataka nešto manje slučajan nego u savršeno jednakoj raspodjeli.

Skup podataka bez neizvjesnosti

Skup podataka 5 5 5 5 5 ima samo jednu jedinstvenu vrijednost, pa je njezina vjerojatnost 1. Budući da je log₂(1) = 0, svaki je član zbroja nula, a entropija iznosi točno 0 bitova. U skupu podataka u kojem su sve vrijednosti jednake nema ničega neizvjesnog.

Tumačenje rezultata

• Entropija blizu 0 znači da su podaci repetitivni i predvidljivi. Prevladava jedna vrijednost ili njih nekoliko.
• Entropija blizu log₂(n), gdje je n broj jedinstvenih vrijednosti, znači da su podaci gotovo ravnomjerno raspoređeni među svim jedinstvenim vrijednostima.
• Entropija točno 0 znači da je svaka vrijednost u skupu podataka jednaka.

Sama entropija ne govori je li skup podataka „dobar” ili „loš”. Generator lozinki želi visoku entropiju jer se takvu lozinku teško pogađa. Senzor koji treba očitavati stalnu temperaturu želi nisku entropiju jer to znači da je očitanje stabilno.

Gdje se upotrebljava Shannonova entropija

• Strojno učenje: algoritmi stabala odlučivanja upotrebljavaju entropiju za odabir značajke koja najbolje dijeli skup podataka u predvidljive skupine.
• Sažimanje podataka: entropija određuje teorijsku granicu koliko se datoteka može smanjiti sažimanjem bez gubitka informacija.
• Kriptografija: entropija mjeri koliko su lozinka ili kriptografski ključ nepredvidljivi.
• Genetika: entropija može istaknuti neuobičajene ili vrlo promjenjive dijelove slijeda DNK.
• Analiza teksta: ako se slova ili riječi promatraju kao „vrijednosti”, entropija može izmjeriti koliko je neki tekst predvidljiv.

Često postavljana pitanja

Što je entropija u teoriji informacija? To je broj koji mjeri koliko je skup podataka neizvjestan ili nepredvidljiv. Izračunava se iz vjerojatnosti svake jedinstvene vrijednosti u podacima, a ne iz samih vrijednosti.

Kako ručno izračunati Shannonovu entropiju? Prebrojite koliko se puta pojavljuje svaka jedinstvena vrijednost, podijelite svaki broj pojavljivanja s ukupnim brojem da biste dobili vjerojatnosti, pomnožite svaku vjerojatnost s njezinim logaritmom uz bazu 2, zbrojite rezultate i pomnožite ih s −1.

Može li entropija biti negativna? Ne. Najniža moguća vrijednost je 0 bitova, a javlja se kada su sve vrijednosti u skupu podataka jednake.

Koja je najveća entropija skupa podataka? Maksimalna entropija iznosi log₂(n) bitova, gdje je n broj jedinstvenih vrijednosti, a pojavljuje se samo kada se svaka jedinstvena vrijednost pojavljuje jednako često.

Postoji li ograničenje veličine skupa podataka? Da. Ovaj kalkulator prihvaća najviše 100.000 vrijednosti u jednom skupu podataka. Veći unosi vraćaju pogrešku.

Po čemu se entropija razlikuje od varijance? Varijanca mjeri koliko su numeričke vrijednosti raspršene oko svoje srednje vrijednosti. Entropija mjeri koliko je obrazac ishoda nepredvidljiv, samo na temelju vjerojatnosti, neovisno o stvarnoj veličini brojeva.

Reference

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2. izdanje). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.