Bonjour,
Il m'a semblé comprendre que une définition de l'entropie (pas très formelle) peut être "le nombre de questions que l'on doit poser pour deviner une lettre dans une séquence".
Dans le mot "AAAAAAHH" et le mot "HAHAHAHA" une seule question suffit : "est-ce que la lettre choisie est le A ?"
Pourtant quand on calcul l'entropie, pour le premier mot je trouve quelque chose autour de 0.811 et pour le 2eme je trouve 1.
Est-ce mes calculs qui sont faux ? Ou alors est ce la définition pas très formelle du dessus qui est fausse ?
Excellente soirée
c'est une excellente question !
La « définition » à laquelle vous faites référence n'est en effet pas formelle et était une première introduction. La « vraie » définition est celle de la formule (somme des P log(1/P)) et encore, sous réserve des remarques du slide 15/32 ; mais la définition reste.
Pour comprendre la définition informelle (nombre de questions) dans le cadre que vous citez, il faut s'autoriser mentalement à imaginer que certaines personnes jouant au jeu proposé dans le cas AAAAAAHH prendrons le risque de ne même pas poser de question mais affirmer A direct. Imaginez que le fait de poser une question vous coûte quelque chose (et le fait de trouver vous rapporte). Alors certains voudront maximiser leur gain en essayant directement A SANS poser de question (dans le jeu AAAAAAHH ; pour le jeu HAHAHAHA, c'est trop risqué).
Dans ce contexte vous retrouvez alors que le « nombre moyen de questions que l'on doit poser pour deviner une lettre dans une séquence » peut être plus petit que 1 et retombez sur le nombre obtenu par la formule mathématique.
Makes sense?
Merci beaucoup, c'est très clair !