Calculateur d'Entropie - Calculer l'Entropie de Shannon en Ligne Gratuitement

Qu’est-ce qu’un calculateur d’entropie ?

Un calculateur d’entropie détermine l’entropie de Shannon d’un ensemble de nombres. L’entropie de Shannon est une façon de mesurer le degré d’imprévisibilité d’un jeu de données. Un jeu de données dont toutes les valeurs sont identiques a une entropie nulle, car rien n’y est incertain. Un jeu de données où chaque valeur a la même probabilité d’apparaître a l’entropie la plus élevée possible pour sa taille.

Cette notion vient de la théorie de l’information, un domaine fondé par le mathématicien américain Claude Shannon dans son article de 1948, A Mathematical Theory of Communication. Shannon voulait mesurer la quantité d’information que transporte un message. Il a défini l’entropie comme la quantité moyenne de « surprise » dans une suite de symboles. La même formule apparaît aujourd’hui en science des données, en cryptographie, en biologie et en apprentissage automatique, partout où il faut mesurer le caractère aléatoire d’un ensemble de résultats.

Formule de l’entropie de Shannon

Pour un jeu de données comptant les valeurs distinctes x₁ à xₙ, chacune apparaissant avec la probabilité p(xᵢ), l’entropie de Shannon H est :

$H(X) = -\sum_{i=1}^{n} p(x_i) \log_2 p(x_i)$

En mots : pour chaque valeur distincte, on multiplie sa probabilité par le logarithme en base 2 de cette probabilité, on additionne tous ces produits, puis on change le signe. Le résultat est toujours nul ou positif.

Ce calculateur utilise toujours des logarithmes en base 2, de sorte que le résultat est exprimé en bits. Shannon a fait remarquer que le choix de la base du logarithme revient à choisir une unité : la base 2 donne des bits, la base 10 des chiffres décimaux, et le logarithme népérien (base e) des unités naturelles. Le bit est l’unité habituelle en informatique, c’est pourquoi ce calculateur s’en tient à la base 2.

Pourquoi le résultat ne peut pas être négatif

Chaque probabilité p(xᵢ) est comprise entre 0 et 1, donc son logarithme est nul ou négatif. Multiplier une probabilité par un logarithme négatif ou nul donne un nombre négatif ou nul. En additionnant ces nombres et en changeant le signe, on obtient toujours un résultat supérieur ou égal à zéro.

Entropie maximale possible

Pour un jeu de données comptant n valeurs distinctes, l’entropie est la plus élevée lorsque chaque valeur apparaît aussi souvent que les autres. Shannon a montré que ce maximum est égal à log(n), soit log₂(n) lorsqu’il est mesuré en bits. Un jeu de données comptant 4 valeurs distinctes également fréquentes peut atteindre au plus 2 bits d’entropie, car log₂(4) = 2. Toute répartition inégale de ces mêmes 4 valeurs donne une entropie plus faible.

Comment calculer l’entropie, étape par étape

1. Lister les valeurs distinctes du jeu de données et relever l’effectif de chacune.
2. Diviser chaque effectif par le nombre total de valeurs pour obtenir la probabilité de chaque valeur distincte.
3. Prendre le logarithme en base 2 de chaque probabilité, puis le multiplier par cette même probabilité.
4. Additionner tous ces produits, puis multiplier le total par −1.

Ce calculateur effectue automatiquement ces quatre étapes. Il suffit de saisir des nombres dans la zone de saisie, séparés par des espaces ou des virgules, de choisir le format correspondant, et l’entropie, le tableau des probabilités et un diagramme à barres s’affichent aussitôt. Un tableau sous le résultat présente la valeur, l’effectif, la probabilité et p(x) × log₂(p(x)) pour chaque nombre distinct, de sorte que le détail du calcul est visible, et pas seulement la réponse finale.

Règles de saisie

• Seules les valeurs numériques sont acceptées : les nombres entiers, les décimaux, les nombres négatifs et la notation scientifique, comme 1e3, fonctionnent tous.
• Les valeurs sont séparées par des espaces (exemple : 1 2 3 4) ou par des virgules (exemple : 1,2,3,4), selon le format choisi.
• Un jeu de données peut contenir jusqu’à 100 000 valeurs. Saisir davantage de valeurs produit un message d’erreur demandant un jeu de données plus petit.
• Le texte, les symboles ou les entrées vides entre les séparateurs sont rejetés avec une erreur, au lieu d’être ignorés silencieusement.

Exemple détaillé

Prenons le jeu de données 1 2 3 1 2 1, qui comporte six nombres.

D’abord, on détermine l’effectif de chaque valeur distincte :

Ensuite, on applique la formule à chaque ligne et on additionne les résultats :

$H = -(0.5 \log_2 0.5 + 0.3333 \log_2 0.3333 + 0.1667 \log_2 0.1667)$ $H = -(0.5 \times -1 + 0.3333 \times -1.585 + 0.1667 \times -2.585)$ $H \approx 1.4591 \text{ bits}$

Le jeu de données compte 3 valeurs distinctes, donc l’entropie maximale possible est log₂(3) ≈ 1,585 bits. Le résultat réel, 1,4591 bits, est inférieur à ce maximum, car la valeur 1 apparaît plus souvent que les autres, ce qui rend le jeu de données un peu moins aléatoire qu’une répartition parfaitement égale.

Un jeu de données sans incertitude

Le jeu de données 5 5 5 5 5 ne compte qu’une seule valeur distincte, dont la probabilité est donc 1. Comme log₂(1) = 0, chaque terme de la somme est nul et l’entropie vaut exactement 0 bit. Un jeu de données dont toutes les valeurs sont identiques ne contient aucune incertitude.

Interprétation du résultat

• Une entropie proche de 0 signifie que les données sont répétitives et prévisibles. Une ou quelques valeurs dominent.
• Une entropie proche de log₂(n), où n est le nombre de valeurs distinctes, signifie que les données sont presque également réparties entre toutes leurs valeurs distinctes.
• Une entropie exactement égale à 0 signifie que toutes les valeurs du jeu de données sont identiques.

L’entropie seule ne dit pas si un jeu de données est « bon » ou « mauvais ». Un générateur de mots de passe recherche une entropie élevée, car cela rend le mot de passe difficile à deviner. Un capteur censé indiquer une température constante recherche une entropie faible, car cela signifie que la mesure est stable.

Où l’entropie de Shannon est utilisée

• Apprentissage automatique : les algorithmes d’arbres de décision utilisent l’entropie pour déterminer quelle variable sépare le mieux un jeu de données en groupes prévisibles.
• Compression de données : l’entropie fixe la limite théorique de la taille minimale d’un fichier compressé sans perte d’information.
• Cryptographie : l’entropie mesure le degré d’imprévisibilité d’un mot de passe ou d’une clé cryptographique.
• Génétique : l’entropie peut mettre en évidence des régions inhabituelles ou très variables dans une séquence d’ADN.
• Analyse de texte : en traitant les lettres ou les mots comme des « valeurs », l’entropie permet de mesurer le degré de prévisibilité d’un texte.

Foire aux questions

Qu’est-ce que l’entropie en théorie de l’information ? C’est un nombre qui mesure le degré d’incertitude ou d’imprévisibilité d’un jeu de données. Elle est calculée à partir des probabilités de chaque valeur distincte des données, et non à partir des valeurs elles-mêmes.

Comment calculer l’entropie de Shannon à la main ? Il faut relever l’effectif de chaque valeur distincte, diviser chaque effectif par le total pour obtenir les probabilités, multiplier chaque probabilité par son logarithme en base 2, additionner les résultats, puis multiplier par −1.

L’entropie peut-elle être négative ? Non. La valeur minimale possible est de 0 bit, ce qui se produit lorsque toutes les valeurs du jeu de données sont identiques.

Quelle est l’entropie maximale d’un jeu de données ? Le maximum est de log₂(n) bits, où n est le nombre de valeurs distinctes, et il n’est atteint que lorsque chaque valeur distincte apparaît aussi souvent que les autres.

Existe-t-il une limite à la taille du jeu de données ? Oui. Ce calculateur accepte jusqu’à 100 000 valeurs dans un seul jeu de données. Les entrées plus volumineuses renvoient une erreur.

En quoi l’entropie diffère-t-elle de la variance ? La variance mesure la dispersion de valeurs numériques autour de leur moyenne. L’entropie mesure le degré d’imprévisibilité de la répartition des résultats, uniquement à partir des probabilités, quelle que soit la taille réelle des nombres.

Références

1. Shannon, C. E. A Mathematical Theory of Communication. Bell System Technical Journal, 1948 (réimpression hébergée par l’Université Harvard). harvard.edu — l’origine en 1948 de la théorie de l’information, la base 2 avec l’unité "bits" et les autres bases, l’entropie nulle uniquement pour un résultat certain, et le maximum log(n) pour des probabilités égales.