CS-119(d): Entropie, formule de Shannon

Bonjour monsieurs,

C'est une curiosité, mais j'aimerais savoir pourquoi l'entropie d'une source (var. aléatoire) X est définie par la somme de -log (pi)*pi (pourquoi le logarithme?).

En effet, je comprends bien l'inégalité présentée dans le livre d'Introduction au Numérique, soit 0 < H < log (n), par l'intermédiaire de l'inégalité de Jensen pour des fonctions concaves et convexes, et la raison pour laquelle on passe par le long en base 2 quand il s'agit des bits.

Néanmoins, j'ai voulu me renseigner à propos de la formule pour l'entropie de Shannon (je joins une photo), et je ne comprends pourquoi on choisit la fonction log x ou d'où elle sort (empiriquement?).

Très cordialement,

Re: Entropie, formule de Shannon

by Jean-Cédric Chappelier - Thursday, 7 November 2019, 3:44 PM

C'est une question intéressante qui va plus loin que le cours (je dis ça pour ceux que ça n'intéresse pas).

Pour une raison intuitive de ce log : je vous propose d'attendre demain, je l'expliquerai en cours (lié à la dichotomie).

Pour une raison plus axiomatique (hors du cours) :
Au lieu de définir H par une formule a priori, imposons plutôt à H les conditions minimales qu'on en attend :

invariance par permutation : $H(p_1 , p_2 , \cdots , p_n ) = H(p_{π(1)} , p_{π(2)} , \cdots , p_{π(n)} )$ pour toute permutation π de 1, 2, . . . , n.
continuité (de petits changements sur les $p$ donnent des petits changements sur $H$ ) : $H(p_1 , p_2 , \cdots, p_n )$ est une fonction continue dans toutes les variables.
compositionnalité : $H(p_1 , p_2 , \cdots, p_n ) = H(p_1 + p_2 , p_3 , \cdots , p_n ) + (p_1 + p_2 ) · H(\frac{p_1}{p_1 + p_2}, \frac{p_2}{p_1 + p_2})$ (si l'on regroupe 2 cas, on devrait avoir ce genre de comportements sur l'entropie ; sorte de moyenne pondérée)
croissance de l'entropie d'une distribution uniforme: $H(\frac1n, \cdots, \frac1n)$ est une fonction croissante de $n$ (plus on a de cas équiprobables, plus on a d'entropie)