Calcolatore di Entropia - Calcola l'Entropia di Shannon Online Gratuitamente

Che cos'è un calcolatore di entropia?

Un calcolatore di entropia trova l'entropia di Shannon di un insieme di numeri. L'entropia di Shannon è un modo per misurare quanto sia imprevedibile un insieme di dati. Un insieme di dati in cui ogni valore è uguale ha entropia zero, perché non c'è nulla di incerto. Un insieme di dati in cui ogni valore ha la stessa probabilità di comparire ha la massima entropia possibile per la sua dimensione.

L'idea nasce dalla teoria dell'informazione, un campo avviato dal matematico americano Claude Shannon nel suo articolo del 1948 A Mathematical Theory of Communication. Shannon voleva misurare quanta informazione porta un messaggio. Definì l'entropia come la quantità media di "sorpresa" in una sequenza di simboli. La stessa formula compare oggi nella scienza dei dati, nella crittografia, nella biologia e nell'apprendimento automatico, ovunque serva misurare la casualità in un insieme di risultati.

Formula dell'entropia di Shannon

Per un insieme di dati con valori unici da x₁ a xₙ, ciascuno con probabilità p(xᵢ), l'entropia di Shannon H è:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

In parole: per ogni valore unico si moltiplica la sua probabilità per il logaritmo in base 2 di quella probabilità, si sommano tutti questi prodotti, poi si cambia il segno. Il risultato è sempre zero o positivo.

Questo calcolatore usa sempre logaritmi in base 2, quindi il risultato è misurato in bit. Shannon osservò che la scelta della base del logaritmo è una scelta di unità: la base 2 dà i bit, la base 10 dà le cifre decimali e il logaritmo naturale (base e) dà le unità naturali. I bit sono l'unità usuale in informatica, ed è per questo che il calcolatore si attiene alla base 2.

Perché il risultato non può essere negativo

Ogni probabilità p(xᵢ) è compresa tra 0 e 1, quindi il suo logaritmo è zero o negativo. Moltiplicare una probabilità per un logaritmo negativo o nullo dà un numero negativo o nullo. Sommando questi numeri e cambiando il segno si ottiene sempre un risultato pari o superiore a zero.

Entropia massima possibile

Per un insieme di dati con n valori unici, l'entropia è massima quando ogni valore compare con la stessa frequenza. Shannon dimostrò che questo massimo è uguale a log(n), cioè log₂(n) se misurato in bit. Un insieme di dati con 4 valori unici ugualmente frequenti può arrivare al massimo a 2 bit di entropia, perché log₂(4) = 2. Qualsiasi distribuzione non uniforme degli stessi 4 valori dà un'entropia più bassa.

Come calcolare l'entropia: passo dopo passo

1. Elencare i valori unici nell'insieme di dati e contare quante volte compare ciascuno.
2. Dividere ogni conteggio per il numero totale di valori per ottenere la probabilità di ciascun valore unico.
3. Calcolare il logaritmo in base 2 di ogni probabilità, poi moltiplicarlo per la stessa probabilità.
4. Sommare tutti questi prodotti, poi moltiplicare il totale per −1.

Questo calcolatore esegue automaticamente gli stessi quattro passaggi. Si digitano i numeri nella casella di input, separati da spazi o virgole, si sceglie il formato corrispondente e subito compaiono l'entropia, la tabella delle probabilità e un grafico a barre. Una tabella sotto il risultato mostra il valore, il conteggio, la probabilità e p(x) × log₂(p(x)) per ogni numero unico, così il procedimento è visibile, non solo la risposta finale.

Regole di input

• Sono accettati solo valori numerici: funzionano numeri interi, decimali, numeri negativi e notazione scientifica come 1e3.
• I valori sono separati da spazi (esempio: 1 2 3 4) o da virgole (esempio: 1,2,3,4), a seconda del formato selezionato.
• Un insieme di dati può contenere fino a 100.000 valori. Inserirne di più produce un messaggio di errore che chiede un insieme di dati più piccolo.
• Testo, simboli o voci vuote tra i separatori vengono rifiutati con un errore, anziché essere ignorati in silenzio.

Esempio svolto

Si consideri l'insieme di dati 1 2 3 1 2 1, che contiene sei numeri.

Per prima cosa, si conta ogni valore unico:

Poi si applica la formula a ogni riga e si sommano i risultati:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bit}$

L'insieme di dati ha 3 valori unici, quindi l'entropia massima possibile è log₂(3) ≈ 1,585 bit. Il risultato effettivo, 1,4591 bit, è inferiore a questo massimo perché il valore 1 compare più spesso degli altri, rendendo l'insieme di dati un po' meno casuale di una suddivisione perfettamente uniforme.

Un insieme di dati senza incertezza

L'insieme di dati 5 5 5 5 5 ha un solo valore unico, quindi la sua probabilità è 1. Poiché log₂(1) = 0, ogni termine della somma è zero e l'entropia è esattamente 0 bit. Non c'è nulla di incerto in un insieme di dati in cui ogni valore è identico.

Interpretazione del risultato

• Un'entropia vicina a 0 significa che i dati sono ripetitivi e prevedibili. Uno o pochi valori dominano.
• Un'entropia vicina a log₂(n), dove n è il numero di valori unici, significa che i dati sono distribuiti in modo quasi uniforme tra tutti i loro valori unici.
• Un'entropia esattamente pari a 0 significa che ogni valore dell'insieme di dati è uguale.

L'entropia da sola non dice se un insieme di dati sia "buono" o "cattivo". Un generatore di password cerca un'entropia alta, perché rende la password difficile da indovinare. Un sensore che dovrebbe leggere una temperatura costante cerca un'entropia bassa, perché significa che la lettura è stabile.

Dove si usa l'entropia di Shannon

• Apprendimento automatico: gli algoritmi ad albero decisionale usano l'entropia per decidere quale caratteristica divide meglio un insieme di dati in gruppi prevedibili.
• Compressione dei dati: l'entropia stabilisce il limite teorico di quanto si può ridurre un file senza perdere informazioni.
• Crittografia: l'entropia misura quanto sia imprevedibile una password o una chiave crittografica.
• Genetica: l'entropia può mettere in evidenza regioni insolite o molto variabili in una sequenza di DNA.
• Analisi del testo: trattando lettere o parole come "valori", l'entropia permette di misurare quanto sia prevedibile un testo.

Domande frequenti

Che cos'è l'entropia nella teoria dell'informazione? È un numero che misura quanto un insieme di dati sia incerto o imprevedibile. Si calcola a partire dalle probabilità di ciascun valore unico nei dati, non dai valori stessi.

Come si calcola a mano l'entropia di Shannon? Si conta quante volte compare ciascun valore unico, si divide ogni conteggio per il totale per ottenere le probabilità, si moltiplica ogni probabilità per il suo logaritmo in base 2, si sommano i risultati e si moltiplica per −1.

L'entropia può essere negativa? No. Il valore minimo possibile è 0 bit, che si ha quando ogni valore dell'insieme di dati è identico.

Qual è l'entropia massima per un insieme di dati? Il massimo è log₂(n) bit, dove n è il numero di valori unici, e si raggiunge solo quando ogni valore unico compare con la stessa frequenza.

Esiste un limite alla dimensione dell'insieme di dati? Sì. Questo calcolatore accetta fino a 100.000 valori in un singolo insieme di dati. Input più grandi restituiscono un errore.

In che modo l'entropia si differenzia dalla varianza? La varianza misura quanto i valori numerici sono dispersi attorno alla media. L'entropia misura quanto sia imprevedibile lo schema dei risultati, basandosi solo sulle probabilità, indipendentemente dalla grandezza effettiva dei numeri.

Riferimenti

1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948 (ristampa ospitata dalla Harvard University). harvard.edu — l'origine della teoria dell'informazione nel 1948, l'unità "bit" in base 2 (in inglese "bits") e le altre basi, entropia zero solo per un risultato certo e il massimo log(n) per probabilità uguali.