Calculadora de Entropía - Calcular Entropía de Shannon en Línea Gratis

¿Qué es una calculadora de entropía?

Una calculadora de entropía obtiene la entropía de Shannon de un conjunto de números. La entropía de Shannon permite medir hasta qué punto un conjunto de datos es impredecible. Un conjunto de datos en el que todos los valores son iguales tiene entropía cero, porque no hay nada incierto. Un conjunto de datos en el que todos los valores tienen la misma probabilidad de aparecer tiene la entropía máxima posible para su tamaño.

La idea procede de la teoría de la información, un campo que inició el matemático estadounidense Claude Shannon en 1948. Shannon quería medir cuánta información contiene un mensaje. Definió la entropía como la cantidad media de «sorpresa» en una secuencia de símbolos. La misma fórmula aparece ahora en la ciencia de datos, la criptografía, la biología y el aprendizaje automático: en cualquier ámbito en el que sea necesario medir la aleatoriedad de un conjunto de resultados.

Fórmula de la entropía de Shannon

Para un conjunto de datos con valores únicos x₁ a xₙ, donde cada uno aparece con una probabilidad p(xᵢ), la entropía de Shannon H es:

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

En palabras: para cada valor único, se multiplica su probabilidad por el logaritmo en base 2 de esa probabilidad, se suman todos esos productos y, después, se cambia el signo. El resultado siempre es cero o positivo.

Esta calculadora siempre utiliza logaritmos en base 2, por lo que el resultado se expresa en bits. Existen otras bases para otros fines: el logaritmo natural produce unidades llamadas nats y la base 10 produce unidades llamadas hartleys. Los bits son la unidad estándar en informática y teoría de la información, por lo que esta calculadora utiliza la base 2.

Por qué el resultado no puede ser negativo

Cada probabilidad p(xᵢ) está entre 0 y 1, por lo que su logaritmo es cero o negativo. Multiplicar una probabilidad por un logaritmo negativo o cero produce un número negativo o cero. Al sumar esos valores y cambiar el signo, el resultado siempre es cero o mayor.

Entropía máxima posible

Para un conjunto de datos con n valores únicos, la entropía es máxima cuando todos los valores aparecen con la misma frecuencia. Ese máximo equivale a log₂(n) bits. Un conjunto de datos con 4 valores únicos igual de frecuentes puede alcanzar como máximo 2 bits de entropía, porque log₂(4) = 2. Cualquier distribución desigual de esos mismos 4 valores produce una entropía menor.

Cómo calcular la entropía paso a paso

1. Enumere los valores únicos del conjunto de datos y cuente cuántas veces aparece cada uno.
2. Divida cada recuento por el número total de valores para obtener la probabilidad de cada valor único.
3. Calcule el logaritmo en base 2 de cada probabilidad y multiplíquelo por esa misma probabilidad.
4. Sume todos esos productos y multiplique el total por −1.

Esta calculadora realiza automáticamente los mismos cuatro pasos. Escriba los números en el cuadro de entrada, separados por espacios o comas, seleccione el formato correspondiente y aparecerán de inmediato la entropía, la tabla de probabilidades y un gráfico de barras. Debajo del resultado, una tabla muestra el valor, el recuento, la probabilidad y p(x) × log₂(p(x)) de cada número único, de modo que se puede ver el procedimiento y no solo la respuesta final.

Reglas de entrada

• Solo se aceptan valores numéricos: funcionan los números enteros, los decimales y los números negativos.
• Los valores se separan mediante espacios (ejemplo: 1 2 3 4) o comas (ejemplo: 1,2,3,4), según el formato seleccionado.
• Un conjunto de datos puede contener hasta 100.000 valores. Si se introducen más, aparece un mensaje de error que solicita un conjunto de datos más pequeño.
• Se acepta la notación científica, por lo que 1e3 se interpreta como 1000.
• El texto, los símbolos y las entradas vacías entre separadores se rechazan con un error en lugar de ignorarse silenciosamente.
• También se rechaza un número demasiado grande para que lo almacene un ordenador, como 1e400. El valor máximo que puede almacenar la calculadora es aproximadamente 1,8 x 10^308.

Ejemplo resuelto

Considere el conjunto de datos 1 2 3 1 2 1, que contiene seis números.

Primero, cuente cada valor único:

A continuación, aplique la fórmula a cada fila y sume los resultados:

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

El conjunto de datos tiene 3 valores únicos, por lo que la entropía máxima posible es log₂(3) ≈ 1,585 bits. El resultado real, 1,4591 bits, es menor que ese máximo porque el valor 1 aparece con más frecuencia que los demás, lo que hace que el conjunto de datos sea ligeramente menos aleatorio que una distribución perfectamente uniforme.

Un conjunto de datos sin incertidumbre

El conjunto de datos 5 5 5 5 5 solo tiene un valor único, por lo que su probabilidad es 1. Como log₂(1) = 0, cada término de la suma es cero y la entropía es exactamente 0 bits. No hay incertidumbre en un conjunto de datos cuyos valores son todos idénticos.

Cómo interpretar el resultado

• Una entropía cercana a 0 significa que los datos son repetitivos y predecibles. Uno o unos pocos valores predominan.
• Una entropía cercana a log₂(n), donde n es el número de valores únicos, significa que los datos están distribuidos de forma casi uniforme entre todos sus valores únicos.
• Una entropía exactamente igual a 0 significa que todos los valores del conjunto de datos son iguales.

La entropía por sí sola no indica si un conjunto de datos es «bueno» o «malo». Un generador de contraseñas busca una entropía alta, porque eso hace que la contraseña sea difícil de adivinar. En cambio, un sensor que debería registrar una temperatura constante busca una entropía baja, porque eso indica que la lectura es estable.

Usos de la entropía de Shannon

• Aprendizaje automático: los algoritmos de árboles de decisión utilizan la entropía para decidir qué característica divide mejor un conjunto de datos en grupos predecibles.
• Compresión de datos: la entropía establece el límite teórico de cuánto se puede reducir el tamaño de un archivo sin perder información.
• Criptografía: la entropía mide hasta qué punto son impredecibles una contraseña o una clave criptográfica.
• Genética: la entropía puede señalar regiones inusuales o muy variables en una secuencia de ADN.
• Análisis de texto: si se tratan las letras o las palabras como los «valores», la entropía permite medir hasta qué punto es predecible un texto.

Preguntas frecuentes

¿Qué es la entropía en la teoría de la información?
Es un número que mide el grado de incertidumbre o imprevisibilidad de un conjunto de datos. Se calcula a partir de las probabilidades de cada valor único de los datos, no a partir de los valores en sí.

¿Cómo se calcula la entropía de Shannon manualmente?
Cuente cuántas veces aparece cada valor único, divida cada recuento por el total para obtener las probabilidades, multiplique cada probabilidad por su logaritmo en base 2, sume los resultados y multiplique por −1.

¿Puede ser negativa la entropía?
No. El valor mínimo posible es 0 bits, que se produce cuando todos los valores del conjunto de datos son idénticos.

¿Cuál es la entropía máxima de un conjunto de datos?
El máximo es log₂(n) bits, donde n es el número de valores únicos, y solo se alcanza cuando todos los valores únicos aparecen con la misma frecuencia.

¿Existe un límite para el tamaño del conjunto de datos?
Sí. Esta calculadora acepta hasta 100.000 valores en un único conjunto de datos. Las entradas más grandes producen un error.

¿En qué se diferencia la entropía de la varianza?
La varianza mide cuánto se dispersan los valores numéricos alrededor de su media. La entropía mide hasta qué punto es impredecible el patrón de resultados, basándose únicamente en las probabilidades, independientemente del tamaño real de los números.

Referencias

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.