Qu'est-ce que l'entropie de Shannon ?

L'entropie de Shannon mesure la quantité moyenne de 'surprise' ou d'information contenue dans les résultats d'une variable aléatoire, donnée par H(X) = −Σ p(x)·log₂ p(x). Une entropie plus élevée signifie plus d'imprévisibilité.

Quelle est la différence entre bits et nats ?

Les bits utilisent le logarithme en base 2 (l'unité standard en informatique et théorie de l'information) ; les nats utilisent le logarithme naturel (base e). La même distribution a des valeurs d'entropie numériques différentes dans chaque unité, liées par un facteur constant de ln(2).

Que signifie une entropie nulle ?

Une entropie nulle signifie qu'un résultat a une probabilité de 1 et que tous les autres ont une probabilité de 0 — il n'y a aucune incertitude, puisque le résultat est déjà certain.

Quelle est l'entropie maximale possible ?

Pour n résultats également probables, l'entropie est maximisée à log₂(n) bits, atteinte exactement lorsque chaque résultat a la même probabilité 1/n — la distribution la plus imprévisible possible.

Pourquoi les probabilités doivent-elles totaliser 1 ?

Une distribution de probabilité doit tenir compte de chaque résultat possible exactement une fois, donc les probabilités de tous les résultats doivent totaliser 1 (100 %) pour que la formule d'entropie ait un sens.

Où l'entropie est-elle utilisée dans la vie réelle ?

Elle sous-tend la compression de données sans perte (codage de Huffman et Shannon-Fano), les critères de division des arbres de décision en apprentissage automatique, la mesure de l'aléatoire cryptographique, et la quantification de la diversité en écologie et en économie.

Comment l'entropie est-elle liée à la variance ?

Les deux mesurent la dispersion ou l'imprévisibilité, mais la variance mesure la dispersion numérique autour d'une moyenne pour des résultats numériques, tandis que l'entropie mesure l'imprévisibilité de tout résultat catégoriel indépendamment de sa valeur numérique — un lancer de pièce a une entropie même si 'pile' et 'face' ne sont pas des nombres.

L'entropie peut-elle être négative ?

Non — comme chaque probabilité est comprise entre 0 et 1, log₂(p) est toujours nul ou négatif, et le signe négatif initial de la formule rend chaque terme (et le total) nul ou positif.

Calculatrice d'Entropie — Calculez l'Entropie de Shannon d'une Distribution de Probabilité

Notre Calculatrice d'Entropie mesure le contenu d'information moyen — ou l'incertitude — d'une distribution de probabilité en utilisant la formule d'entropie de Claude Shannon H(X) = −Σ p(x)·log₂ p(x). Saisissez n'importe quelle liste de probabilités totalisant 1, et voyez instantanément l'entropie en bits (log base 2) ou en nats (logarithme naturel), ainsi que l'entropie maximale possible pour ce nombre de résultats.

Réponse rapide

L'entropie de Shannon H(X) = −Σ p(x)·log₂ p(x) mesure l'incertitude moyenne d'une distribution de probabilité. Saisissez une probabilité par ligne ci-dessous (totalisant 1) pour calculer instantanément l'entropie en bits ou en nats.

Probabilités (une par ligne)

Saisissez une probabilité par ligne, par ex. 0.5. Toutes les probabilités doivent totaliser 1.

Comment utiliser Calculatrice d'Entropie — Entropie de Shannon (Bits & Nats) en Ligne

1
Saisissez une probabilité par ligne pour chaque résultat possible (elles doivent totaliser 1).
2
Choisissez bits (log₂) ou nats (ln) comme unité.
3
Cliquez sur 'Calculer' pour voir l'entropie de Shannon et la décomposition étape par étape.

Pourquoi utiliser Calculatrice d'Entropie — Entropie de Shannon (Bits & Nats) en Ligne ?

L'entropie de Shannon, introduite par Claude Shannon dans son article fondateur de 1948 sur la théorie de l'information, quantifie à quel point une variable aléatoire est imprévisible : une distribution où un résultat est certain a une entropie nulle, tandis qu'une distribution uniforme sur n résultats a l'entropie maximale possible, log₂(n) bits. Cette calculatrice applique la formule exactement afin que vous puissiez mesurer le contenu d'information d'une distribution — utile pour la compression de données, l'apprentissage automatique, la cryptographie et les analyses inspirées de la thermodynamique — sans avoir à travailler manuellement les logarithmes.

Questions fréquentes

Outils similaires

Calculatrice de Distribution de Probabilité — Moyenne, Variance et Écart-Type

Calculez la moyenne, la variance, et l'écart-type de toute distribution de probabilité discrète personnalisée. Calculatrice gratuite qui vérifie que vos probabilités totalisent 1 avec des statistiques étape par étape.

Calculatrice de Loi Binomiale — P(X=k) en Ligne

Calculez les probabilités binomiales instantanément — saisissez les essais (n), la probabilité de succès (p), et les succès (k) pour trouver P(X = k), la probabilité cumulée, la moyenne et la variance. Calculatrice gratuite avec décomposition étape par étape.

Calculatrice de Loi de Poisson — Probabilité d'Événements en Ligne

Calculez les probabilités de Poisson instantanément — saisissez un taux (λ) et un nombre d'événements (k) pour trouver P(X = k), la probabilité cumulée, la moyenne et la variance. Calculatrice gratuite avec décomposition étape par étape.