Calculateur d'Entropie - Calculer l'Entropie de Shannon en Ligne Gratuitement

Qu'est-ce qu'un calculateur d'entropie ?

Un calculateur d'entropie détermine l'entropie de Shannon d'un ensemble de nombres. L'entropie de Shannon permet de mesurer le degré d'imprévisibilité d'un jeu de données. Un jeu de données dans lequel toutes les valeurs sont identiques a une entropie nulle, car il n'y a aucune incertitude. Un jeu de données dans lequel chaque valeur a la même probabilité d'apparaître possède l'entropie maximale possible pour sa taille.

Cette idée vient de la théorie de l'information, un domaine fondé par le mathématicien américain Claude Shannon en 1948. Shannon cherchait à mesurer la quantité d'information contenue dans un message. Il a défini l'entropie comme la quantité moyenne de « surprise » dans une séquence de symboles. La même formule est désormais utilisée en science des données, en cryptographie, en biologie et en apprentissage automatique, partout où il faut mesurer le caractère aléatoire d'un ensemble de résultats.

Formule de l'entropie de Shannon

Pour un jeu de données comportant des valeurs distinctes x₁ à xₙ, chacune apparaissant avec une probabilité p(xᵢ), l'entropie de Shannon H est :

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

En d'autres termes : pour chaque valeur distincte, il faut multiplier sa probabilité par le logarithme en base 2 de cette probabilité, additionner tous ces produits, puis inverser le signe. Le résultat est toujours nul ou positif.

Ce calculateur utilise toujours des logarithmes en base 2. Le résultat est donc exprimé en bits. D'autres bases sont utilisées dans d'autres contextes : le logarithme naturel donne des unités appelées des nats, et la base 10 donne des hartleys. Le bit est l'unité standard en informatique et en théorie de l'information, ce qui explique pourquoi ce calculateur utilise la base 2.

Pourquoi le résultat ne peut pas être négatif

Toute probabilité p(xᵢ) est comprise entre 0 et 1, son logarithme est donc nul ou négatif. Multiplier une probabilité par un logarithme négatif ou nul donne un nombre négatif ou nul. La somme de ces valeurs, après inversion du signe, produit toujours un résultat supérieur ou égal à zéro.

Entropie maximale possible

Pour un jeu de données comportant n valeurs distinctes, l'entropie est maximale lorsque chaque valeur apparaît aussi souvent que les autres. Ce maximum est égal à log₂(n) bits. Un jeu de données comportant 4 valeurs distinctes équiprobables peut atteindre au maximum 2 bits d'entropie, car log₂(4) = 2. Toute répartition inégale des mêmes 4 valeurs donne une entropie inférieure.

Comment calculer l'entropie : méthode étape par étape

1. Répertorier les valeurs distinctes du jeu de données et compter le nombre d'apparitions de chacune.
2. Diviser chaque nombre d'apparitions par le nombre total de valeurs pour obtenir la probabilité de chaque valeur distincte.
3. Calculer le logarithme en base 2 de chaque probabilité, puis le multiplier par cette même probabilité.
4. Additionner tous ces produits, puis multiplier le total par −1.

Ce calculateur effectue automatiquement ces quatre étapes. Il suffit de saisir les nombres dans la zone de saisie, en les séparant par des espaces ou des virgules, puis de choisir le format correspondant. L'entropie, le tableau des probabilités et un graphique en barres s'affichent immédiatement. Un tableau situé sous le résultat indique la valeur, le nombre d'apparitions, la probabilité et p(x) × log₂(p(x)) pour chaque nombre distinct. Le détail du calcul est ainsi visible, et pas seulement le résultat final.

Règles de saisie

• Seules les valeurs numériques sont acceptées : les nombres entiers, les nombres décimaux et les nombres négatifs fonctionnent tous.
• Les valeurs sont séparées par des espaces (exemple : 1 2 3 4) ou par des virgules (exemple : 1,2,3,4), selon le format sélectionné.
• Un jeu de données peut contenir jusqu'à 100 000 valeurs. Au-delà, un message d'erreur demande de saisir un jeu de données plus petit.
• La notation scientifique est acceptée ; ainsi, 1e3 est interprété comme 1000.
• Les textes, les symboles et les entrées vides entre les séparateurs sont rejetés avec une erreur au lieu d'être ignorés silencieusement.
• Un nombre trop grand pour être stocké par un ordinateur, comme 1e400, est également rejeté. La plus grande valeur que le calculateur peut stocker est d'environ 1,8 x 10^308.

Exemple de calcul

Prenons le jeu de données 1 2 3 1 2 1, qui comporte six nombres.

Commencez par compter chaque valeur distincte :

Appliquez ensuite la formule à chaque ligne et additionnez les résultats :

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

Le jeu de données comporte 3 valeurs distinctes. Son entropie maximale possible est donc log₂(3) ≈ 1,585 bits. Le résultat réel, 1,4591 bits, est inférieur à ce maximum, car la valeur 1 apparaît plus souvent que les autres. Le jeu de données est ainsi légèrement moins aléatoire qu'une répartition parfaitement uniforme.

Un jeu de données sans incertitude

Le jeu de données 5 5 5 5 5 ne comporte qu'une seule valeur distincte, dont la probabilité est 1. Comme log₂(1) = 0, chaque terme de la somme est nul et l'entropie est exactement égale à 0 bit. Il n'y a aucune incertitude dans un jeu de données où toutes les valeurs sont identiques.

Interpréter le résultat

• Une entropie proche de 0 signifie que les données sont répétitives et prévisibles. Une valeur ou quelques valeurs dominent.
• Une entropie proche de log₂(n), où n est le nombre de valeurs distinctes, signifie que les données sont réparties de manière presque uniforme entre toutes leurs valeurs distinctes.
• Une entropie exactement égale à 0 signifie que toutes les valeurs du jeu de données sont identiques.

L'entropie seule ne permet pas de déterminer si un jeu de données est « bon » ou « mauvais ». Un générateur de mots de passe recherche une entropie élevée, car elle rend le mot de passe difficile à deviner. À l'inverse, un capteur censé mesurer une température constante recherche une entropie faible, car cela signifie que la mesure est stable.

Utilisations de l'entropie de Shannon

• Apprentissage automatique : les algorithmes d'arbres de décision utilisent l'entropie pour déterminer quelle caractéristique permet de diviser au mieux un jeu de données en groupes prévisibles.
• Compression des données : l'entropie définit la limite théorique de la réduction de la taille d'un fichier par compression sans perte d'information.
• Cryptographie : l'entropie mesure le degré d'imprévisibilité d'un mot de passe ou d'une clé cryptographique.
• Génétique : l'entropie peut mettre en évidence des régions inhabituelles ou très variables dans une séquence d'ADN.
• Analyse de texte : en considérant les lettres ou les mots comme les « valeurs », l'entropie permet de mesurer le degré de prévisibilité d'un texte.

Questions fréquentes

Qu'est-ce que l'entropie en théorie de l'information ?
C'est un nombre qui mesure le degré d'incertitude ou d'imprévisibilité d'un jeu de données. Elle est calculée à partir des probabilités de chaque valeur distincte des données, et non à partir des valeurs elles-mêmes.

Comment calculer l'entropie de Shannon à la main ?
Il faut compter le nombre d'apparitions de chaque valeur distincte, diviser chaque nombre par le total pour obtenir les probabilités, multiplier chaque probabilité par son logarithme en base 2, additionner les résultats, puis multiplier par −1.

L'entropie peut-elle être négative ?
Non. La valeur minimale possible est de 0 bit, ce qui se produit lorsque toutes les valeurs du jeu de données sont identiques.

Quelle est l'entropie maximale d'un jeu de données ?
Le maximum est log₂(n) bits, où n est le nombre de valeurs distinctes. Il n'est atteint que lorsque chaque valeur distincte apparaît aussi souvent que les autres.

La taille du jeu de données est-elle limitée ?
Oui. Ce calculateur accepte jusqu'à 100 000 valeurs dans un même jeu de données. Les saisies plus importantes renvoient une erreur.

Quelle est la différence entre l'entropie et la variance ?
La variance mesure la dispersion des valeurs numériques autour de leur moyenne. L'entropie mesure le degré d'imprévisibilité du schéma des résultats, en fonction uniquement des probabilités et indépendamment de l'amplitude réelle des nombres.

Références

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.