Entroopia kalkulaator - Arvutage Shannon entroopiat tasuta võrgus

Mis on entroopia kalkulaator?

Entroopia kalkulaator leiab arvukogumi Shannoni entroopia. Shannoni entroopia mõõdab, kui ettearvamatu andmestik on. Andmestikul, kus kõik väärtused on samad, on entroopia null, sest selles pole midagi ebakindlat. Andmestikul, kus iga väärtus esineb võrdse tõenäosusega, on oma suuruse kohta suurim võimalik entroopia.

See idee pärineb infoteooriast, mille rajajaks oli Ameerika matemaatik Claude Shannon 1948. Shannon soovis mõõta, kui palju teavet sõnum sisaldab. Ta määratles entroopia sümbolijada keskmise „üllatusena“. Sama valemit kasutatakse nüüd andmeteaduses, krüptograafias, bioloogias ja masinõppes – kõikjal, kus on vaja mõõta tulemuste kogumi juhuslikkust.

Shannoni entroopia valem

Andmestiku korral, mille kordumatud väärtused on x₁ kuni xₙ ja millest igaüks esineb tõenäosusega p(xᵢ), on Shannoni entroopia H järgmine:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Sõnades: iga kordumatu väärtuse korral korrutatakse selle tõenäosus tõenäosuse alusel 2 oleva logaritmiga, liidetakse kõik need korrutised ja muudetakse märki. Tulemus on alati null või positiivne.

See kalkulaator kasutab alati alusega 2 logaritme, seega mõõdetakse tulemust bittides. Muudel eesmärkidel kasutatakse ka teisi aluseid: naturaallogaritm annab ühikud, mida nimetatakse naatideks, ja alus 10 annab ühikud, mida nimetatakse hartleydeks. Bitid on andmetöötluses ja infoteoorias standardühik, mistõttu kasutab kalkulaator alust 2.

Miks tulemus ei saa olla negatiivne

Iga tõenäosus p(xᵢ) jääb 0 ja 1 vahele, seega on selle logaritm null või negatiivne. Tõenäosuse korrutamisel negatiivse või nulliga saadakse negatiivne või nullarv. Nende liitmisel ja märgi muutmisel saadakse alati null või suurem tulemus.

Maksimaalne võimalik entroopia

n kordumatu väärtusega andmestiku entroopia on suurim siis, kui iga väärtus esineb sama sageli. See maksimum võrdub log₂(n) bitiga. Andmestik, millel on 4 võrdselt sageli esinevat kordumatut väärtust, võib saavutada kõige rohkem 2 bitti entroopiat, sest log₂(4) = 2. Sama 4 väärtuse ebaühtlane jaotus annab väiksema entroopia.

Kuidas entroopiat arvutada: samm-sammult

1. Loetlege andmestikus esinevad kordumatud väärtused ja loendage, mitu korda igaüks esineb.
2. Jagage iga esinemiste arv väärtuste koguarvuga, et saada iga kordumatu väärtuse tõenäosus.
3. Leidke iga tõenäosuse logaritm alusel 2 ja korrutage see sama tõenäosusega.
4. Liitke kõik need korrutised ja korrutage summa arvuga −1.

See kalkulaator teeb samad neli sammu automaatselt. Sisestage arvud sisestusväljale, eraldades need tühikute või komadega, valige sobiv vorming ning entroopia, tõenäosustabel ja tulpdiagramm kuvatakse kohe. Tulemuse all olev tabel näitab iga kordumatu arvu väärtust, esinemiste arvu, tõenäosust ja korrutist p(x) × log₂(p(x)), nii et arvutuskäik on nähtav, mitte ainult lõpptulemus.

Sisestusreeglid

• Lubatud on ainult arvväärtused: täisarvud, kümnendarvud ja negatiivsed arvud sobivad kõik.
• Väärtused eraldatakse tühikutega (näide: 1 2 3 4) või komadega (näide: 1,2,3,4), olenevalt valitud vormingust.
• Andmestikus võib olla kuni 100 000 väärtust. Sellest suurema andmestiku sisestamisel kuvatakse veateade, mis palub kasutada väiksemat andmestikku.
• Teaduslik märge on lubatud, seega loetakse 1e3 väärtuseks 1000.
• Eraldajate vahel olev tekst, sümbolid või tühjad kirjed lükatakse veaga tagasi, mitte ei jäeta vaikimisi tähelepanuta.
• Ka arv, mis on arvutis salvestamiseks liiga suur, näiteks 1e400, lükatakse tagasi. Suurim väärtus, mida kalkulaator suudab talletada, on ligikaudu 1,8 x 10^308.

Näidisarvutus

Võtame andmestiku 1 2 3 1 2 1, milles on kuus arvu.

Kõigepealt loendame iga kordumatu väärtuse esinemised:

Seejärel rakendame valemit igale reale ja liidame tulemused:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bitti}$

Andmestikus on 3 kordumatut väärtust, seega on maksimaalne võimalik entroopia log₂(3) ≈ 1,585 bitti. Tegelik tulemus 1,4591 bitti on sellest maksimumist väiksem, sest väärtus 1 esineb teistest sagedamini, muutes andmestiku täiesti ühtlase jaotusega võrreldes veidi vähem juhuslikuks.

Andmestik ilma ebakindluseta

Andmestikus 5 5 5 5 5 on ainult üks kordumatu väärtus, seega on selle tõenäosus 1. Kuna log₂(1) = 0, on iga summa liige null ja entroopia täpselt 0 bitti. Andmestikus, kus kõik väärtused on identsed, pole midagi ebakindlat.

Tulemuse tõlgendamine

• Entroopia väärtuse 0 lähedal tähendab, et andmed on korduvad ja ettearvatavad. Üks või mõned väärtused domineerivad.
• Entroopia väärtuse log₂(n) lähedal, kus n on kordumatute väärtuste arv, tähendab, et andmed on kõigi kordumatute väärtuste vahel peaaegu ühtlaselt jaotunud.
• Täpselt 0 suurune entroopia tähendab, et kõik andmestiku väärtused on samad.

Entroopia üksi ei näita, kas andmestik on „hea“ või „halb“. Parooligeneraator soovib suurt entroopiat, sest see muudab parooli äraarvamise raskeks. Püsivat temperatuuri näitama pidav andur soovib väikest entroopiat, sest see tähendab, et näit on stabiilne.

Kus Shannoni entroopiat kasutatakse

• Masinõpe: otsustuspuu algoritmid kasutavad entroopiat, et otsustada, milline tunnus jagab andmestiku kõige paremini ettearvatavateks rühmadeks.
• Andmete tihendamine: entroopia määrab teoreetilise piiri, kui väikeseks saab faili tihendada ilma teavet kaotamata.
• Krüptograafia: entroopia mõõdab, kui ettearvamatu on parool või krüptograafiline võti.
• Geneetika: entroopia võib esile tuua DNA-jada ebatavalised või väga muutlikud piirkonnad.
• Tekstianalüüs: tähtede või sõnade käsitlemine „väärtustena“ võimaldab entroopial mõõta, kui ettearvatav on tekstilõik.

Korduma kippuvad küsimused

Mis on entroopia infoteoorias? See on arv, mis mõõdab, kui ebakindel või ettearvamatu on andmestik. See arvutatakse andmete iga kordumatu väärtuse tõenäosuste, mitte väärtuste endi põhjal.

Kuidas Shannoni entroopiat käsitsi arvutada? Loendage, kui sageli iga kordumatu väärtus esineb, jagage iga esinemiste arv koguarvuga, et saada tõenäosused, korrutage iga tõenäosus selle logaritmiga alusel 2, liitke tulemused ja korrutage saadud summa arvuga −1.

Kas entroopia võib olla negatiivne? Ei. Väikseim võimalik väärtus on 0 bitti, mis saadakse siis, kui kõik andmestiku väärtused on identsed.

Milline on andmestiku maksimaalne entroopia? Maksimum on log₂(n) bitti, kus n on kordumatute väärtuste arv, ja see esineb ainult siis, kui iga kordumatu väärtus esineb sama sageli.

Kas andmestiku suurusel on piirang? Jah. See kalkulaator lubab ühes andmestikus kuni 100 000 väärtust. Suurema sisendi korral kuvatakse veateade.

Mille poolest erineb entroopia dispersioonist? Dispersioon mõõdab, kui hajutatud on arvväärtused oma keskmise ümber. Entroopia mõõdab tulemuste mustri ettearvamatust ainult tõenäosuste põhjal, olenemata arvude tegelikust suurusest.

Viited

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M. ja Thomas, J. A. (2006). Elements of Information Theory (2. väljaanne). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.