Entrópia Kalkulátor - Shannon Entrópia Számítás Online Ingyenesen

Mi az entrópiakalkulátor?

Az entrópiakalkulátor egy számsokaság Shannon-entrópiáját számítja ki. A Shannon-entrópia azt méri, mennyire kiszámíthatatlan egy adathalmaz. Ha egy adathalmazban minden érték azonos, az entrópia nulla, mert nincs benne bizonytalanság. Ha az összes érték azonos valószínűséggel jelenik meg, az entrópia az adott méret mellett elérhető legnagyobb értékű.

Az elképzelés az információelméletből származik, amelyet Claude Shannon amerikai matematikus indított el 1948-ban. Shannon azt akarta mérni, hogy egy üzenet mennyi információt hordoz. Az entrópiát a szimbólumsorozatban lévő „meglepetés” átlagos mennyiségeként határozta meg. Ugyanez a képlet ma az adattudományban, a kriptográfiában, a biológiában és a gépi tanulásban is megjelenik, vagyis minden olyan területen, ahol egy kimenetelhalmaz véletlenszerűségét kell mérni.

A Shannon-entrópia képlete

Az x₁-től xₙ-ig terjedő egyedi értékeket tartalmazó adathalmazban minden érték p(xᵢ) valószínűséggel jelenik meg. A Shannon-entrópia, H:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

Szavakkal: minden egyedi érték esetében szorozzuk meg annak valószínűségét a valószínűség 2 alapú logaritmusával, adjuk össze az összes ilyen szorzatot, majd változtassuk meg az előjelet. Az eredmény mindig nulla vagy pozitív.

Ez a kalkulátor mindig 2 alapú logaritmust használ, ezért az eredményt bitben adja meg. Más alapok más célokra használhatók: a természetes logaritmus egysége a nat, a 10 alapú logaritmusé pedig a hartley. A bit a számítástechnikában és az információelméletben szabványos mértékegység, ezért ez a kalkulátor a 2 alaphoz ragaszkodik.

Miért nem lehet az eredmény negatív?

Minden p(xᵢ) valószínűség 0 és 1 között van, ezért a logaritmusa nulla vagy negatív. Ha egy valószínűséget negatív vagy nulla logaritmussal szorzunk, negatív vagy nulla számot kapunk. Ezek összege, majd az előjel megváltoztatása mindig nulla vagy annál nagyobb eredményt ad.

A lehetséges legnagyobb entrópia

Egy n egyedi értéket tartalmazó adathalmaz entrópiája akkor a legnagyobb, ha minden érték ugyanolyan gyakran jelenik meg. Ez a maximum log₂(n) bit. Egy 4 azonos gyakoriságú egyedi értéket tartalmazó adathalmaz entrópiája legfeljebb 2 bit lehet, mivel log₂(4) = 2. Ugyanazon 4 értékek bármilyen egyenetlen eloszlása kisebb entrópiát eredményez.

Az entrópia kiszámítása lépésről lépésre

1. Sorolja fel az egyedi értékeket az adathalmazban, és számolja meg, hogy mindegyik hányszor jelenik meg.
2. Ossza el az egyes előfordulások számát az értékek teljes számával, így megkapja minden egyedi érték valószínűségét.
3. Számítsa ki minden valószínűség 2 alapú logaritmusát, majd szorozza meg ugyanazzal a valószínűséggel.
4. Adja össze az összes ilyen szorzatot, majd szorozza meg az összeget −1-gyel.

Ez a kalkulátor automatikusan elvégzi ugyanezt a négy lépést. Írjon számokat a beviteli mezőbe szóközökkel vagy vesszőkkel elválasztva, válassza ki a megfelelő formátumot, és az entrópia, a valószínűségi táblázat, valamint az oszlopdiagram azonnal megjelenik. Az eredmény alatt látható táblázat minden egyedi számhoz megmutatja az értéket, az előfordulások számát, a valószínűséget, valamint a p(x) × log₂(p(x)) értéket, így a számítás menete is látható, nem csak a végeredmény.

Bemeneti szabályok

• Csak numerikus értékek fogadhatók el: egész számok, tizedes számok és negatív számok egyaránt használhatók.
• Az értékeket szóközök (például: 1 2 3 4) vagy vesszők (például: 1,2,3,4) választják el a kiválasztott formátumtól függően.
• Egy adathalmaz legfeljebb 100 000 értéket tartalmazhat. Ennél több érték megadása hibaüzenetet eredményez, amely kisebb adathalmaz megadását kéri.
• A tudományos jelölés elfogadott, ezért a 1e3 értéket a rendszer 1000-ként olvassa.
• Az elválasztók közötti szöveges elemeket, szimbólumokat vagy üres bejegyzéseket a rendszer hibaüzenettel elutasítja, nem hagyja őket csendben figyelmen kívül.
• A számítógépen nem tárolható túl nagy számokat, például a 1e400 értéket is elutasítja. A kalkulátor által tárolható legnagyobb érték körülbelül 1,8 x 10^308.

Megoldott példa

Vegyük az 1 2 3 1 2 1 adathalmazt, amely hat számot tartalmaz.

Először számoljuk meg az egyes egyedi értékeket:

Ezután alkalmazzuk a képletet minden sorra, és adjuk össze az eredményeket:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bit}$

Az adathalmazban 3 egyedi érték van, ezért a lehetséges legnagyobb entrópia log₂(3) ≈ 1,585 bit. A tényleges eredmény, 1,4591 bit, kisebb ennél a maximumnál, mert az 1 érték gyakrabban jelenik meg a többinél, így az adathalmaz kissé kevésbé véletlenszerű, mint tökéletesen egyenletes eloszlás esetén.

Adathalmaz bizonytalanság nélkül

Az 5 5 5 5 5 adathalmazban csak egy egyedi érték van, ezért annak valószínűsége 1. Mivel log₂(1) = 0, az összeg minden tagja nulla, az entrópia pedig pontosan 0 bit. Egy olyan adathalmazban, amelyben minden érték azonos, nincs bizonytalanság.

Az eredmény értelmezése

• A 0-hoz közeli entrópia azt jelenti, hogy az adatok ismétlődők és kiszámíthatók. Egy vagy néhány érték dominál.
• A log₂(n)-hez közeli entrópia, ahol n az egyedi értékek száma, azt jelenti, hogy az adatok közel egyenletesen oszlanak el az összes egyedi érték között.
• A pontosan 0 entrópia azt jelenti, hogy az adathalmaz minden értéke azonos.

Az entrópia önmagában nem mondja meg, hogy egy adathalmaz „jó” vagy „rossz”. Egy jelszógenerátor nagy entrópiát igényel, mert ez megnehezíti a jelszó kitalálását. Egy állandó hőmérsékletet mérő érzékelőnél viszont alacsony entrópia kívánatos, mert ez stabil mérési értéket jelent.

A Shannon-entrópia alkalmazási területei

• Gépi tanulás: a döntési fa algoritmusai entrópiával döntik el, melyik jellemző alapján lehet az adathalmazt a legjobban kiszámítható csoportokra felosztani.
• Adattömörítés: az entrópia meghatározza annak elméleti határát, hogy egy fájl információvesztés nélkül milyen kis méretűre tömöríthető.
• Kriptográfia: az entrópia azt méri, mennyire kiszámíthatatlan egy jelszó vagy egy kriptográfiai kulcs.
• Genetika: az entrópia kiemelheti a DNS-szekvencia szokatlan vagy erősen változó régióit.
• Szövegelemzés: ha a betűket vagy a szavakat „értékekként” kezeljük, az entrópia megmutatja, mennyire kiszámítható egy szövegrészlet.

Gyakran ismételt kérdések

Mi az entrópia az információelméletben? Ez egy szám, amely azt méri, mennyire bizonytalan vagy kiszámíthatatlan egy adathalmaz. Az adatokban szereplő egyes egyedi értékek valószínűségei alapján számítják ki, nem magukból az értékekből.

Hogyan számítható ki kézzel a Shannon-entrópia? Számolja meg, hogy az egyes egyedi értékek milyen gyakran fordulnak elő, ossza el az egyes darabszámokat az összes érték számával a valószínűségek meghatározásához, szorozza meg az egyes valószínűségeket a 2 alapú logaritmusukkal, adja össze az eredményeket, majd szorozza meg az összeget −1-gyel.

Lehet negatív az entrópia? Nem. A lehetséges legkisebb érték 0 bit, ami akkor áll elő, amikor az adathalmaz minden értéke azonos.

Mekkora egy adathalmaz maximális entrópiája? A maximum log₂(n) bit, ahol n az egyedi értékek száma, és csak akkor érhető el, ha minden egyedi érték ugyanolyan gyakran jelenik meg.

Van korlátja az adathalmaz méretének? Igen. Ez a kalkulátor egyetlen adathalmazban legfeljebb 100 000 értéket fogad el. A nagyobb bemenetek hibát eredményeznek.

Miben különbözik az entrópia a varianciától? A variancia azt méri, mennyire szóródnak a numerikus értékek az átlaguk körül. Az entrópia a kimenetelek mintázatának kiszámíthatatlanságát méri, kizárólag a valószínűségek alapján, a számok tényleges nagyságától függetlenül.

Hivatkozások

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2. kiadás). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.