Définition d’entropie
L’entropie est un concept qui tire son nom d’un mot grec qui signifie « retour » ou « transformation » (utilisé au sens figuré). Il s’agit d’un concept utilisé en physique, en chimie, en informatique, en mathématiques et en linguistique, entre d’autres domaines.
L’entropie peut être la grandeur physique thermodynamique qui permet de mesurer la partie inutilisable de l’énergie contenue dans un système. Autrement dit, cette partie de l’énergie ne peut pas être utilisée pour produire un travail.
On entend également par entropie l’évaluation (ou la mesure) du trouble d’un système. L’entropie, dans ce sens, est associée à un niveau d’homogénéité.
L’entropie de formation d’un composé chimique est la différence d’entropie dans le processus de formation à partir des éléments constitutifs. Plus l’entropie de formation est importante et plus sa formation est favorable.
Dans la théorie de l’information, l’entropie est la mesure de l’incertitude qu’il y a vis-à-vis d’un ensemble de messages (dont on ne reçoit qu’un seul). Il s’agit d’une mesure de l’information qui est nécessaire pour réduire ou éliminer l’incertitude.
Par ailleurs, l’entropie est la quantité moyenne d’informations contenues dans les symboles transmis. Des mots tels que « le » ou « qui » sont les symboles les plus courants dans un texte. Toutefois, ce sont ceux qui fournissent moins d’informations. Le message a des informations pertinentes et à entropie maximale à condition que tous les symboles soient également probables.
La linguistique, par conséquent, considère l’entropie comme le degré d’information discursive pondéré en fonction du nombre de lexèmes.
