Kalkulator entropije - Izračunajte Shannonovo entropijo brezplačno na spletu

Kaj je kalkulator entropije?

Kalkulator entropije izračuna Shannonovo entropijo množice števil. Shannonova entropija je način merjenja nepredvidljivosti podatkovnega niza. Podatkovni niz, v katerem je vsaka vrednost enaka, ima entropijo nič, ker v njem ni nič negotovega. Podatkovni niz, v katerem je verjetnost pojava vsake vrednosti enaka, ima za svojo velikost največjo možno entropijo.

Zamisel izhaja iz teorije informacij, področja, ki ga je začel ameriški matematik Claude Shannon leta 1948. Shannon je želel izmeriti, koliko informacij vsebuje sporočilo. Entropijo je opredelil kot povprečno količino »presenečenja« v zaporedju simbolov. Ista formula se danes uporablja v podatkovni znanosti, kriptografiji, biologiji in strojnem učenju, povsod, kjer je treba izmeriti naključnost množice izidov.

Formula Shannonove entropije

Za podatkovni niz z enoličnimi vrednostmi od x₁ do xₙ, pri čemer se vsaka pojavi z verjetnostjo p(xᵢ), je Shannonova entropija H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Z besedami: pri vsaki enolični vrednosti njeno verjetnost pomnožimo z logaritmom te verjetnosti z osnovo 2, nato seštejemo vse te produkte in nazadnje spremenimo predznak. Rezultat je vedno nič ali pozitiven.

Ta kalkulator vedno uporablja logaritme z osnovo 2, zato je rezultat izražen v bitih. Za druge namene obstajajo tudi druge osnove: naravni logaritem daje enote, imenovane niti, osnova 10 pa enote, imenovane hartleyji. Biti so standardna enota v računalništvu in teoriji informacij, zato ta kalkulator uporablja osnovo 2.

Zakaj rezultat ne more biti negativen

Vsaka verjetnost p(xᵢ) je med 0 in 1, zato je njen logaritem nič ali negativen. Množenje verjetnosti z negativnim ali ničelnim logaritmom da negativno ali ničelno število. Seštevanje teh vrednosti in sprememba predznaka vedno da rezultat, ki je nič ali večji.

Največja možna entropija

Pri podatkovnem nizu z n enoličnimi vrednostmi je entropija največja, ko se vsaka vrednost pojavi enako pogosto. Ta maksimum je enak log₂(n) bitom. Podatkovni niz s 4 enako pogostimi enoličnimi vrednostmi lahko doseže največ 2 bita entropije, ker je log₂(4) = 2. Vsaka neenakomerna porazdelitev istih 4 vrednosti da nižjo entropijo.

Kako izračunati entropijo: korak za korakom

1. Naštejte enolične vrednosti v podatkovnem nizu in preštejte, kolikokrat se pojavi vsaka.
2. Vsako število pojavitev delite s skupnim številom vrednosti, da dobite verjetnost posamezne enolične vrednosti.
3. Izračunajte logaritem vsake verjetnosti z osnovo 2 in ga nato pomnožite z isto verjetnostjo.
4. Seštejte vse te produkte in nato celotno vsoto pomnožite z −1.

Ta kalkulator samodejno izvede iste štiri korake. V vnosno polje vnesite števila, ločena s presledki ali vejicami, izberite ustrezno obliko in takoj se prikažejo entropija, tabela verjetnosti ter stolpčni graf. Tabela pod rezultatom za vsako enolično število prikazuje vrednost, število pojavitev, verjetnost in p(x) × log₂(p(x)), zato je razviden tudi izračun, ne le končni odgovor.

Pravila za vnos

• Sprejete so samo številske vrednosti: cela števila, decimalna števila in negativna števila.
• Vrednosti so ločene s presledki (primer: 1 2 3 4) ali vejicami (primer: 1,2,3,4), odvisno od izbrane oblike.
• Podatkovni niz lahko vsebuje največ 100.000 vrednosti. Vnos večjega števila vrednosti sproži sporočilo o napaki, ki zahteva manjši podatkovni niz.
• Sprejet je tudi znanstveni zapis, zato se 1e3 prebere kot 1000.
• Besedilo, simboli ali prazni vnosi med ločili se zavrnejo z napako, namesto da bi se tiho prezrli.
• Zavrne se tudi število, ki je preveliko, da bi ga računalnik lahko shranil, na primer 1e400. Največja vrednost, ki jo kalkulator lahko shrani, je približno 1,8 x 10^308.

Primer z rešitvijo

Oglejmo si podatkovni niz 1 2 3 1 2 1, ki vsebuje šest števil.

Najprej preštejmo vsako enolično vrednost:

Nato za vsako vrstico uporabimo formulo in seštejemo rezultate:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ biti}$

Podatkovni niz ima 3 enolične vrednosti, zato je največja možna entropija log₂(3) ≈ 1,585 bitov. Dejanski rezultat, 1,4591 bitov, je manjši od tega maksimuma, ker se vrednost 1 pojavi pogosteje kot druge, zaradi česar je podatkovni niz nekoliko manj naključen kot pri popolnoma enakomerni porazdelitvi.

Podatkovni niz brez negotovosti

Podatkovni niz 5 5 5 5 5 ima samo eno enolično vrednost, zato je njena verjetnost 1. Ker je log₂(1) = 0, je vsak člen vsote enak nič, entropija pa je natanko 0 bitov. Pri podatkovnem nizu, v katerem so vse vrednosti enake, ni nič negotovega.

Razlaga rezultata

• Entropija blizu 0 pomeni, da so podatki ponavljajoči in predvidljivi. Prevladuje ena ali nekaj vrednosti.
• Entropija blizu log₂(n), kjer je n število enoličnih vrednosti, pomeni, da so podatki skoraj enakomerno porazdeljeni med vse svoje enolične vrednosti.
• Entropija, ki je natanko 0, pomeni, da je vsaka vrednost v podatkovnem nizu enaka.

Entropija sama po sebi ne pove, ali je podatkovni niz »dober« ali »slab«. Generator gesel želi visoko entropijo, ker je tako geslo težje uganiti. Senzor, ki naj bi meril stalno temperaturo, želi nizko entropijo, ker to pomeni, da je meritev stabilna.

Kje se uporablja Shannonova entropija

• Strojno učenje: algoritmi odločitvenih dreves uporabljajo entropijo za izbiro lastnosti, ki podatkovni niz najbolje razdeli na predvidljive skupine.
• Stiskanje podatkov: entropija določa teoretično mejo, kako majhno je mogoče stisniti datoteko brez izgube informacij.
• Kriptografija: entropija meri, kako nepredvidljiva sta geslo ali kriptografski ključ.
• Genetika: entropija lahko izpostavi nenavadna ali zelo variabilna območja v zaporedju DNK.
• Analiza besedila: če črke ali besede obravnavamo kot »vrednosti«, lahko entropija meri, kako predvidljiv je del besedila.

Pogosta vprašanja

Kaj je entropija v teoriji informacij? To je število, ki meri, kako negotov ali nepredvidljiv je podatkovni niz. Izračuna se iz verjetnosti posamezne enolične vrednosti v podatkih, ne iz samih vrednosti.

Kako ročno izračunamo Shannonovo entropijo? Preštejemo, kolikokrat se pojavi vsaka enolična vrednost, vsako število pojavitev delimo s skupnim številom, da dobimo verjetnosti, vsako verjetnost pomnožimo z njenim logaritmom z osnovo 2, seštejemo rezultate in jih pomnožimo z −1.

Ali je entropija lahko negativna? Ne. Najnižja možna vrednost je 0 bitov; nastopi, ko so vse vrednosti v podatkovnem nizu enake.

Kakšna je največja entropija podatkovnega niza? Največja je log₂(n) bitov, kjer je n število enoličnih vrednosti, nastopi pa samo, ko se vsaka enolična vrednost pojavi enako pogosto.

Ali obstaja omejitev velikosti podatkovnega niza? Da. Ta kalkulator sprejme največ 100.000 vrednosti v enem podatkovnem nizu. Večji vnosi vrnejo napako.

Kako se entropija razlikuje od variance? Varianca meri, kako razpršene so številske vrednosti okoli njihovega povprečja. Entropija meri, kako nepredvidljiv je vzorec izidov, pri čemer temelji samo na verjetnostih, ne glede na dejansko velikost števil.

Viri

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2. izd.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.