Calculator de Entropie - Calculează Entropia Shannon Online Gratuit

Ce este un calculator de entropie?

Un calculator de entropie determină entropia Shannon a unei mulțimi de numere. Entropia Shannon este o modalitate de a măsura cât de imprevizibil este un set de date. Un set de date în care fiecare valoare este aceeași are entropie zero, deoarece nu există nimic incert în privința lui. Un set de date în care fiecare valoare are aceeași probabilitate de apariție are entropia maximă posibilă pentru dimensiunea sa.

Ideea provine din teoria informației, un domeniu inițiat de matematicianul american Claude Shannon în 1948. Shannon a vrut să măsoare câtă informație transmite un mesaj. El a definit entropia ca fiind cantitatea medie de „surpriză” dintr-o secvență de simboluri. Aceeași formulă este folosită acum în știința datelor, criptografie, biologie și învățarea automată, oriunde este necesară măsurarea caracterului aleatoriu al unui set de rezultate.

Formula entropiei Shannon

Pentru un set de date cu valori distincte x₁ până la xₙ, fiecare apărând cu probabilitatea p(xᵢ), entropia Shannon H este:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

În cuvinte: pentru fiecare valoare distinctă, înmulțiți probabilitatea sa cu logaritmul în baza 2 al probabilității, adunați toate aceste produse, apoi schimbați semnul rezultatului. Rezultatul este întotdeauna zero sau pozitiv.

Acest calculator folosește întotdeauna logaritmi în baza 2, astfel încât rezultatul este măsurat în biți. Există și alte baze, utilizate în alte scopuri: logaritmul natural produce unități numite nați, iar baza 10 produce unități numite hartley. Biții sunt unitatea standard în informatică și teoria informației, motiv pentru care acest calculator folosește baza 2.

De ce rezultatul nu poate fi negativ

Fiecare probabilitate p(xᵢ) este cuprinsă între 0 și 1, astfel încât logaritmul său este zero sau negativ. Înmulțirea unei probabilități cu un logaritm negativ sau zero produce un număr negativ sau zero. Adunarea acestor rezultate și schimbarea semnului produc întotdeauna un rezultat egal cu zero sau mai mare.

Entropia maximă posibilă

Pentru un set de date cu n valori distincte, entropia este maximă atunci când fiecare valoare apare la fel de des. Această valoare maximă este egală cu log₂(n) biți. Un set de date cu 4 valori distincte la fel de frecvente poate atinge cel mult 2 biți de entropie, deoarece log₂(4) = 2. Orice distribuție neuniformă a acelorași 4 valori produce o entropie mai mică.

Cum se calculează entropia: pas cu pas

1. Enumerați valorile distincte din setul de date și numărați de câte ori apare fiecare.
2. Împărțiți fiecare număr de apariții la numărul total de valori pentru a obține probabilitatea fiecărei valori distincte.
3. Calculați logaritmul în baza 2 al fiecărei probabilități, apoi înmulțiți-l cu aceeași probabilitate.
4. Adunați toate aceste produse, apoi înmulțiți suma cu −1.

Acest calculator efectuează automat aceiași patru pași. Introduceți numere în caseta de introducere, separate prin spații sau virgule, selectați formatul corespunzător, iar entropia, tabelul probabilităților și o diagramă cu bare apar imediat. Un tabel de sub rezultat afișează valoarea, numărul de apariții, probabilitatea și p(x) × log₂(p(x)) pentru fiecare număr distinct, astfel încât calculele sunt vizibile, nu doar răspunsul final.

Reguli de introducere

• Sunt acceptate numai valori numerice: numere întregi, zecimale și numere negative.
• Valorile sunt separate prin spații (exemplu: 1 2 3 4) sau prin virgule (exemplu: 1,2,3,4), în funcție de formatul selectat.
• Un set de date poate conține cel mult 100.000 de valori. Introducerea unui număr mai mare produce un mesaj de eroare care solicită un set de date mai mic.
• Notația științifică este acceptată, astfel încât 1e3 este interpretat ca 1000.
• Textele, simbolurile sau intrările goale dintre separatori sunt respinse printr-o eroare, nu ignorate în mod automat.
• Este respins și un număr prea mare pentru a fi stocat de un computer, precum 1e400. Cea mai mare valoare pe care o poate stoca acest calculator este aproximativ 1,8 x 10^308.

Exemplu de calcul

Să luăm setul de date 1 2 3 1 2 1, care conține șase numere.

Mai întâi, numărăm fiecare valoare distinctă:

Apoi aplicăm formula fiecărui rând și adunăm rezultatele:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ biți}$

Setul de date are 3 valori distincte, astfel încât entropia maximă posibilă este log₂(3) ≈ 1,585 biți. Rezultatul efectiv, 1,4591 biți, este mai mic decât această valoare maximă deoarece valoarea 1 apare mai des decât celelalte, ceea ce face setul de date puțin mai puțin aleatoriu decât o împărțire perfect uniformă.

Un set de date fără incertitudine

Setul de date 5 5 5 5 5 are o singură valoare distinctă, astfel încât probabilitatea sa este 1. Deoarece log₂(1) = 0, fiecare termen din sumă este zero, iar entropia este exact 0 biți. Nu există nimic incert într-un set de date în care fiecare valoare este identică.

Interpretarea rezultatului

• Entropia apropiată de 0 înseamnă că datele sunt repetitive și previzibile. Una sau câteva valori predomină.
• Entropia apropiată de log₂(n), unde n este numărul valorilor distincte, înseamnă că datele sunt distribuite aproape uniform între toate valorile lor distincte.
• O entropie exact egală cu 0 înseamnă că fiecare valoare din setul de date este aceeași.

Entropia, luată separat, nu indică dacă un set de date este „bun” sau „rău”. Un generator de parole dorește o entropie mare, deoarece astfel parola este greu de ghicit. Un senzor care ar trebui să indice o temperatură constantă dorește o entropie mică, deoarece aceasta înseamnă că măsurătoarea este stabilă.

Unde este utilizată entropia Shannon

• Învățare automată: algoritmii arborilor de decizie folosesc entropia pentru a determina ce caracteristică împarte cel mai bine un set de date în grupuri predictibile.
• Compresia datelor: entropia stabilește limita teoretică a gradului în care un fișier poate fi comprimat fără pierderi de informații.
• Criptografie: entropia măsoară cât de imprevizibilă este o parolă sau o cheie criptografică.
• Genetică: entropia poate evidenția regiuni neobișnuite sau foarte variabile dintr-o secvență de ADN.
• Analiza textului: tratarea literelor sau a cuvintelor drept „valori” permite entropiei să măsoare cât de previzibil este un fragment de text.

Întrebări frecvente

Ce este entropia în teoria informației? Este un număr care măsoară cât de incert sau imprevizibil este un set de date. Se calculează pe baza probabilităților fiecărei valori distincte din date, nu pe baza valorilor în sine.

Cum se calculează manual entropia Shannon? Numărați de câte ori apare fiecare valoare distinctă, împărțiți fiecare număr de apariții la total pentru a obține probabilitățile, înmulțiți fiecare probabilitate cu logaritmul său în baza 2, adunați rezultatele și înmulțiți suma cu −1.

Poate entropia să fie negativă? Nu. Cea mai mică valoare posibilă este 0 biți și apare atunci când fiecare valoare din setul de date este identică.

Care este entropia maximă pentru un set de date? Valoarea maximă este log₂(n) biți, unde n este numărul valorilor distincte, și apare numai atunci când fiecare valoare distinctă apare la fel de des.

Există o limită pentru dimensiunea setului de date? Da. Acest calculator acceptă cel mult 100.000 de valori într-un singur set de date. Intrările mai mari generează o eroare.

Prin ce diferă entropia de varianță? Varianța măsoară cât de răspândite sunt valorile numerice în jurul mediei lor. Entropia măsoară cât de imprevizibil este tiparul rezultatelor, pe baza exclusivă a probabilităților, indiferent de mărimea efectivă a numerelor.

Referințe

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., și Thomas, J. A. (2006). Elements of Information Theory (ediția a 2-a). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.