Calculadora de Entropía - Calcular Entropía de Shannon en Línea Gratis

¿Qué es una calculadora de entropía?

Una calculadora de entropía halla la entropía de Shannon de un conjunto de números. La entropía de Shannon es una forma de medir lo impredecible que es un conjunto de datos. Un conjunto en el que todos los valores son iguales tiene entropía cero, porque no hay nada incierto en él. Un conjunto en el que todos los valores tienen la misma probabilidad de aparecer tiene la mayor entropía posible para su tamaño.

La idea procede de la teoría de la información, un campo iniciado por el matemático estadounidense Claude Shannon en su artículo de 1948 A Mathematical Theory of Communication. Shannon quería medir cuánta información transporta un mensaje. Definió la entropía como la cantidad media de «sorpresa» en una secuencia de símbolos. La misma fórmula aparece hoy en la ciencia de datos, la criptografía, la biología y el aprendizaje automático, en cualquier lugar donde haga falta medir la aleatoriedad de un conjunto de resultados.

Fórmula de la entropía de Shannon

Para un conjunto de datos con valores únicos x₁ hasta xₙ, cada uno con probabilidad p(xᵢ), la entropía de Shannon H es:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

En palabras: para cada valor único, se multiplica su probabilidad por el logaritmo en base 2 de esa probabilidad, se suman todos estos productos y se cambia el signo. El resultado siempre es cero o positivo.

Esta calculadora usa siempre logaritmos en base 2, por lo que el resultado se mide en bits. Shannon señaló que elegir la base del logaritmo equivale a elegir la unidad: la base 2 da bits, la base 10 da dígitos decimales y el logaritmo natural (base e) da unidades naturales. Los bits son la unidad habitual en informática, y por eso esta calculadora se limita a la base 2.

Por qué el resultado no puede ser negativo

Toda probabilidad p(xᵢ) está entre 0 y 1, por lo que su logaritmo es cero o negativo. Multiplicar una probabilidad por un logaritmo negativo o cero da un número negativo o cero. Al sumarlos y cambiar el signo, el resultado siempre es cero o mayor.

Entropía máxima posible

En un conjunto de datos con n valores únicos, la entropía es máxima cuando todos los valores aparecen con la misma frecuencia. Shannon demostró que este máximo es igual a log(n), que es log₂(n) cuando se mide en bits. Un conjunto con 4 valores únicos igual de frecuentes puede alcanzar como máximo 2 bits de entropía, porque log₂(4) = 2. Cualquier distribución desigual de esos mismos 4 valores da una entropía menor.

Cómo calcular la entropía paso a paso

1. Enumerar los valores únicos del conjunto de datos y contar cuántas veces aparece cada uno.
2. Dividir cada recuento entre el número total de valores para obtener la probabilidad de cada valor único.
3. Tomar el logaritmo en base 2 de cada probabilidad y multiplicarlo por esa misma probabilidad.
4. Sumar todos estos productos y multiplicar el total por −1.

Esta calculadora realiza automáticamente los mismos cuatro pasos. Se escriben los números en el cuadro de entrada, separados por espacios o comas, se elige el formato correspondiente y al instante aparecen la entropía, la tabla de probabilidades y un gráfico de barras. Una tabla debajo del resultado muestra el valor, el recuento, la probabilidad y p(x) × log₂(p(x)) de cada número único, de modo que se ve el procedimiento y no solo la respuesta final.

Reglas de entrada

• Solo se aceptan valores numéricos: funcionan los números enteros, los decimales, los números negativos y la notación científica, como 1e3.
• Los valores se separan con espacios (ejemplo: 1 2 3 4) o con comas (ejemplo: 1,2,3,4), según el formato seleccionado.
• Un conjunto de datos puede contener hasta 100.000 valores. Si se introducen más, aparece un mensaje de error que pide un conjunto más pequeño.
• El texto, los símbolos o las entradas vacías entre separadores se rechazan con un error, en lugar de ignorarse en silencio.

Ejemplo práctico

Sea el conjunto de datos 1 2 3 1 2 1, que tiene seis números.

Primero, se cuenta cada valor único:

A continuación, se aplica la fórmula a cada fila y se suman los resultados:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

El conjunto tiene 3 valores únicos, así que la entropía máxima posible es log₂(3) ≈ 1,585 bits. El resultado real, 1,4591 bits, es menor que ese máximo porque el valor 1 aparece más veces que los demás, lo que hace que el conjunto sea algo menos aleatorio que un reparto perfectamente uniforme.

Un conjunto de datos sin incertidumbre

El conjunto 5 5 5 5 5 tiene un solo valor único, por lo que su probabilidad es 1. Como log₂(1) = 0, todos los términos de la suma son cero y la entropía es exactamente de 0 bits. No hay nada incierto en un conjunto de datos donde todos los valores son idénticos.

Interpretación del resultado

• Una entropía cercana a 0 significa que los datos son repetitivos y predecibles. Uno o unos pocos valores dominan.
• Una entropía cercana a log₂(n), donde n es el número de valores únicos, significa que los datos están repartidos de forma casi uniforme entre todos sus valores únicos.
• Una entropía exactamente igual a 0 significa que todos los valores del conjunto son iguales.

La entropía por sí sola no indica si un conjunto de datos es «bueno» o «malo». Un generador de contraseñas busca una entropía alta, porque eso hace que la contraseña sea difícil de adivinar. Un sensor que debe registrar una temperatura constante busca una entropía baja, porque eso significa que la lectura es estable.

Dónde se usa la entropía de Shannon

• Aprendizaje automático: los algoritmos de árboles de decisión usan la entropía para decidir qué variable divide mejor un conjunto de datos en grupos predecibles.
• Compresión de datos: la entropía fija el límite teórico de cuánto se puede comprimir un archivo sin perder información.
• Criptografía: la entropía mide lo impredecible que es una contraseña o una clave criptográfica.
• Genética: la entropía puede destacar regiones inusuales o muy variables en una secuencia de ADN.
• Análisis de texto: al tratar las letras o las palabras como «valores», la entropía permite medir lo predecible que es un fragmento de texto.

Preguntas frecuentes

¿Qué es la entropía en la teoría de la información? Es un número que mide lo incierto o impredecible que es un conjunto de datos. Se calcula a partir de las probabilidades de cada valor único de los datos, no a partir de los valores en sí.

¿Cómo se calcula a mano la entropía de Shannon? Se cuenta con qué frecuencia aparece cada valor único, se divide cada recuento entre el total para obtener las probabilidades, se multiplica cada probabilidad por su logaritmo en base 2, se suman los resultados y se multiplica por −1.

¿Puede ser negativa la entropía? No. El valor mínimo posible es 0 bits, que se da cuando todos los valores del conjunto son idénticos.

¿Cuál es la entropía máxima de un conjunto de datos? El máximo es log₂(n) bits, donde n es el número de valores únicos, y solo se alcanza cuando cada valor único aparece con la misma frecuencia.

¿Hay un límite para el tamaño del conjunto de datos? Sí. Esta calculadora acepta hasta 100.000 valores en un solo conjunto de datos. Las entradas más grandes devuelven un error.

¿En qué se diferencia la entropía de la varianza? La varianza mide cuán dispersos están los valores numéricos alrededor de su media. La entropía mide lo impredecible que es el patrón de resultados, basándose solo en las probabilidades y sin importar el tamaño real de los números.

Referencias

1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948 (reimpresión alojada en la Universidad de Harvard). harvard.edu — el origen de la teoría de la información en 1948, la unidad en base 2 ("bits") y otras bases, la entropía cero solo para un resultado cierto y el máximo log(n) para probabilidades iguales.