Calcolatore di Entropia - Calcola l'Entropia di Shannon Online Gratuitamente

Che cos'è un calcolatore dell'entropia?

Un calcolatore dell'entropia determina l'entropia di Shannon di un insieme di numeri. L'entropia di Shannon è un modo per misurare quanto un insieme di dati sia imprevedibile. Un insieme di dati in cui ogni valore è uguale ha entropia pari a zero, perché non c'è nulla di incerto. Un insieme di dati in cui ogni valore ha la stessa probabilità di comparire ha l'entropia massima possibile per la sua dimensione.

L'idea proviene dalla teoria dell'informazione, un campo avviato dal matematico statunitense Claude Shannon nel 1948. Shannon voleva misurare quanta informazione trasporta un messaggio. Definì l'entropia come la quantità media di «sorpresa» in una sequenza di simboli. La stessa formula viene oggi utilizzata nella scienza dei dati, nella crittografia, nella biologia e nell'apprendimento automatico, ovunque sia necessario misurare la casualità di un insieme di risultati.

Formula dell'entropia di Shannon

Per un insieme di dati con valori distinti x₁ fino a xₙ, ciascuno dei quali compare con probabilità p(xᵢ), l'entropia di Shannon H è:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

In altre parole: per ogni valore distinto, si moltiplica la sua probabilità per il logaritmo in base 2 di quella probabilità, si sommano tutti questi prodotti e poi si cambia il segno. Il risultato è sempre zero o positivo.

Questo calcolatore usa sempre i logaritmi in base 2, quindi il risultato è espresso in bit. Esistono altre basi per altri scopi: il logaritmo naturale produce unità chiamate nat, mentre la base 10 produce unità chiamate hartley. I bit sono l'unità standard nell'informatica e nella teoria dell'informazione; per questo il calcolatore usa la base 2.

Perché il risultato non può essere negativo

Ogni probabilità p(xᵢ) è compresa tra 0 e 1, quindi il suo logaritmo è zero o negativo. Moltiplicando una probabilità per un logaritmo negativo o nullo si ottiene un numero negativo o nullo. La somma di questi valori, dopo il cambio di segno, produce sempre un risultato pari o superiore a zero.

Entropia massima possibile

Per un insieme di dati con n valori distinti, l'entropia è massima quando ogni valore compare con la stessa frequenza. Questo massimo è uguale a log₂(n) bit. Un insieme di dati con 4 valori distinti e ugualmente frequenti può raggiungere al massimo 2 bit di entropia, perché log₂(4) = 2. Qualsiasi distribuzione non uniforme degli stessi 4 valori produce un'entropia inferiore.

Come calcolare l'entropia: procedura

1. Elencare i valori distinti nell'insieme di dati e contare quante volte compare ciascuno.
2. Dividere ogni conteggio per il numero totale di valori per ottenere la probabilità di ciascun valore distinto.
3. Calcolare il logaritmo in base 2 di ogni probabilità, quindi moltiplicarlo per la stessa probabilità.
4. Som­mare tutti questi prodotti, quindi moltiplicare il totale per −1.

Questo calcolatore esegue automaticamente gli stessi quattro passaggi. È sufficiente digitare i numeri nella casella di input, separandoli con spazi o virgole, e scegliere il formato corrispondente: l'entropia, la tabella delle probabilità e il grafico a barre vengono visualizzati subito. Una tabella sotto il risultato mostra il valore, il conteggio, la probabilità e p(x) × log₂(p(x)) per ogni numero distinto, così è possibile vedere i calcoli e non solo il risultato finale.

Regole per l'inserimento dei dati

• Sono accettati solo valori numerici: funzionano numeri interi, decimali e negativi.
• I valori sono separati da spazi (esempio: 1 2 3 4) oppure da virgole (esempio: 1,2,3,4), a seconda del formato selezionato.
• Un insieme di dati può contenere fino a 100.000 valori. L'inserimento di un numero maggiore produce un messaggio di errore che richiede un insieme di dati più piccolo.
• È accettata la notazione scientifica, quindi 1e3 viene interpretato come 1.000.
• Testo, simboli o elementi vuoti tra i separatori vengono rifiutati con un errore, invece di essere ignorati automaticamente.
• Anche un numero troppo grande per essere memorizzato da un computer, come 1e400, viene rifiutato. Il valore massimo che il calcolatore può contenere è circa 1,8 x 10^308.

Esempio di calcolo

Si consideri l'insieme di dati 1 2 3 1 2 1, formato da sei numeri.

Per prima cosa, si conta ogni valore distinto:

Successivamente, si applica la formula a ogni riga e si sommano i risultati:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

L'insieme di dati contiene 3 valori distinti, quindi l'entropia massima possibile è log₂(3) ≈ 1,585 bit. Il risultato effettivo, 1,4591 bit, è inferiore a questo massimo perché il valore 1 compare più spesso degli altri, rendendo l'insieme di dati leggermente meno casuale rispetto a una suddivisione perfettamente uniforme.

Un insieme di dati senza incertezza

L'insieme di dati 5 5 5 5 5 contiene un solo valore distinto, quindi la sua probabilità è 1. Poiché log₂(1) = 0, ogni termine della somma è zero e l'entropia è esattamente pari a 0 bit. Non c'è nulla di incerto in un insieme di dati in cui tutti i valori sono identici.

Come interpretare il risultato

• Un'entropia vicina a 0 indica dati ripetitivi e prevedibili. Uno o pochi valori sono predominanti.
• Un'entropia vicina a log₂(n), dove n è il numero di valori distinti, indica che i dati sono distribuiti quasi uniformemente tra tutti i valori distinti.
• Un'entropia esattamente pari a 0 indica che ogni valore dell'insieme di dati è uguale.

L'entropia, considerata da sola, non indica se un insieme di dati sia «buono» o «cattivo». Un generatore di password ha bisogno di un'entropia elevata, perché rende la password difficile da indovinare. Un sensore che dovrebbe rilevare una temperatura costante ha bisogno di un'entropia bassa, perché questo indica che la rilevazione è stabile.

Applicazioni dell'entropia di Shannon

• Apprendimento automatico: gli algoritmi degli alberi decisionali usano l'entropia per stabilire quale caratteristica separi meglio un insieme di dati in gruppi prevedibili.
• Compressione dei dati: l'entropia stabilisce il limite teorico di quanto sia possibile comprimere un file senza perdere informazioni.
• Crittografia: l'entropia misura quanto siano imprevedibili una password o una chiave crittografica.
• Genetica: l'entropia può mettere in evidenza regioni insolite o altamente variabili in una sequenza di DNA.
• Analisi del testo: considerando le lettere o le parole come «valori», l'entropia permette di misurare quanto sia prevedibile un testo.

Domande frequenti

Che cos'è l'entropia nella teoria dell'informazione?
È un numero che misura quanto sia incerto o imprevedibile un insieme di dati. Viene calcolata a partire dalle probabilità di ogni valore distinto nei dati, non dai valori in sé.

Come si calcola manualmente l'entropia di Shannon?
Si conta quante volte compare ogni valore distinto, si divide ogni conteggio per il totale per ottenere le probabilità, si moltiplica ogni probabilità per il suo logaritmo in base 2, si sommano i risultati e si moltiplica per −1.

L'entropia può essere negativa?
No. Il valore minimo possibile è 0 bit e si verifica quando tutti i valori dell'insieme di dati sono identici.

Qual è l'entropia massima di un insieme di dati?
Il massimo è log₂(n) bit, dove n è il numero di valori distinti, e si verifica solo quando ogni valore distinto compare con la stessa frequenza.

Esiste un limite alla dimensione dell'insieme di dati?
Sì. Questo calcolatore accetta fino a 100.000 valori in un singolo insieme di dati. Gli input più grandi producono un errore.

In che modo l'entropia differisce dalla varianza?
La varianza misura quanto i valori numerici siano dispersi intorno alla loro media. L'entropia misura quanto sia imprevedibile lo schema dei risultati, basandosi solo sulle probabilità, indipendentemente dalla grandezza effettiva dei numeri.

Riferimenti

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.