Selon Norbert Wiener, l’information n’est ni matière, ni énergie, bien qu’elle n’ait aucune effectivité (aucune consistance) en dehors de celles-ci [on peut dire, de façon moins radicale, qu’elle les suppose toutes deux pour se manifester]. L’information peut être référée ici à la notion classique de cause formelle : ce qui [in]forme la matière (lui donne sa forme) n’est pas dissociable de ce qui est [in]formé et le processus même de cette [in]formation implique une transaction énergétique soumise aux contraintes du second principe de la thermodynamique. Le français L. Brillouin a donné la formule permettant de chiffrer le coût énergétique d’une information. Il existe donc un lien étroit entre information et entropie. La première étant en quelque sorte l’inverse de la seconde, on peut la considérer comme de la néguentropie (entropie négative). L’entropie étant généralement associée au désordre, on a souvent tendance à assimiler l’information à l’ordre. En fait, l’ordre est lié à la redondance alors que la quantité d’information dépend de la variété des possibles (voir ci-dessous). Cette opposition (ordre-désordre) a conduit certains psychanalystes à assimiler le couple information-entropie au couple Eros-Thanatos.

Dans le cadre du formalisme de la théorie de l’information telle que développée (notamment) par Shannon, à partir de 1949, la notion d’information n’est aucunement synonyme de connaissance ou de renseignement, contrairement à son sens commun. L’usage singulier qui est fait d’un concept populaire est à l’origine de bien des déconvenues. L’information est ici exclusivement liée à la probabilité des signaux qui constituent un message, indépendamment de la nature de leur substrat physique (au demeurant nécessaire) et indépendamment de leur éventuelle signification. On ne s’intéresse qu’au minimum de ce qu’un événement puisse nous apporter, à savoir qu’il s’est produit. On cherche à mesurer l’information que nous apporte le seul fait de sa survenue sans tenir aucun compte de la signification qu’il peut ou non avoir pour nous. Ainsi, la quantité d’information apportée par un événement est d’autant plus grande (quand il s’est produit) que sa probabilité était faible (avant qu’il se produise). La quantité d’information globale ou moyenne apportée par un ensemble d’événements est égale à la somme pondérée des quantités d’information apportées par chacun d’eux.

Le formalisme de la théorie de l’information exprime la représentabilité d’un événement ou d’un groupe d’événements dans un langage binaire : H, qui désigne la quantité d’information associée à une occurrence donnée, est égal au logarithme binaire de l’inverse de sa probabilité. Dans le cas où tous les événements sont équiprobables (comme dans le tirage à pile ou face), la quantité d’information apportée, en moyenne, par un tirage quelconque est égale au logarithme binaire du nombre de situations possibles. Dans le tirage à pile ou face ce nombre est égal à 2 dont le logarithme binaire est égal à 1 (2=2¹). La quantité d’information apportée par un signal augmente donc avec le nombre de catégories possibles. Or ce nombre caractérise le degré d’indétermination de la situation : plus grand est le nombre d’événements équiprobables possibles, plus faible est la probabilité de réalisation de chacun. Lors d’un tirage avec trois pièces jetées simultanément, la probabilité de sortir, par exemple, trois fois pile est de (1/2)*(1/2)*(1/2) = 1/8 ou 1/2³, donc la quantité d’information associée à cette combinaison est égale à 3 bits (il y a 8 combinaisons possibles). La quantité d’information associée à la survenue d’un événement donné est proportionnelle à son degré d’indétermination avant qu’il se produise (incertitude pour le sujet). Elle apparaît ainsi comme une mesure du degré d’ignorance d’un agent cognitif relativement à la survenue possible d’un ensemble d’événements et n’exprime donc pas une " connaissance " à leur sujet. La levée de cette ignorance apporte une information qui lui est directement proportionnelle (autrement dit inversement proportionnelle à la probabilité a priori de l’événement en question). Une telle ignorance n’est pas liée aux capacités singulières de l’agent cognitif mais à l’indétermination de la situation physique à laquelle il est confronté, cette indétermination étant mesurée par le nombre d’alternatives offertes par ladite situation. Quand la quantité d’information apportée par un signal est élevée, cela veut dire que le sujet peut difficilement en prévoir la nature.

Ainsi, mesurer l’incertitude levée par la réalisation d’un événement n’est pas autre chose que mesurer les conditions minimum de représentation de cet événement dans un langage (binaire). La notion d’information est, de ce fait, inséparable de celle de représentation. La nature symbolique ou non de cette représentation ne change rien au fait que, par principe, la notion de signification est totalement étrangère à la théorie de l’information. Le traitement de l’information est réductible à la manipulation de symboles selon des règles, indépendamment de leur éventuelle signification. Pourtant, la question de l’adéquation de la représentation ne manque pas de se poser (qu’est-ce qui garantit la correspondance objet-symbole ? qui juge de cette correspondance ?) tout comme celle de la signification (un symbole n’existe pas en soi mais symbolise quelque chose pour quelqu’un). L’information ne devient connaissance qu’interprétée.

Il ressort de ce qui précède que la notion d’information est indissociable de celle de probabilité. La question du statut ontologique de ces notions ne manque pas de se poser : n’ont-elles de sens que relativement à l’ignorance du sujet connaissant (position défendue notamment par H. Atlan) ou existe-t-il de l’information, c’est-à-dire nécessairement de l’incertitude (du hasard), intrinsèques (position dont I. Prigogine s’est fait le champion) ?