Canal de communication (théorie de l'information)

Le télégraphe est un exemple de système dans lequel le canal de communication est dit discret : on transmet une suite de symboles élémentaires (code Morse). Les signaux logiques comme le binaire sont également discrets.

Le débit d'information ${\displaystyle D}$ est défini en fonction du nombre de signaux ${\displaystyle N(T)}$ pouvant circuler pendant une durée ${\displaystyle T}$.

La capacité d'un canal de communication constitue une limitation de la quantité d'information que la source peut transmettre vers le récepteur. Elle est définie comme le maximum du débit.

Canal de communication.

On considère un canal ${\displaystyle W}$ dont l'alphabet d'entrée est ${\displaystyle S}$ et l'alphabet de sortie est ${\displaystyle S'}$. Cela signifie que les symboles du message émis sont des lettres de ${\displaystyle S}$ et que ceux du message reçu sont des lettres de ${\displaystyle S'}$. Le canal est défini par une loi de probabilité décrivant la probabilité de la sortie en fonction de l'entrée.

Supposons que l'on envoie un symbole ${\displaystyle s\in S}$ dans le canal ; la probabilité que le symbole sortant soit ${\displaystyle s'\in S'}$ est notée ${\displaystyle W(s'|s)}$. Si les deux alphabets sont identiques, la probabilité que le symbole soit transmis de façon fidèle est ${\displaystyle W(s|s)}$.

Dans le cas général, on modélise le symbole transmis par une variable aléatoire ${\displaystyle X}$ de loi ${\displaystyle P(X=s_{i})=p_{i}}$ (avec ${\textstyle \sum _{S}p_{i}=1}$). Différents choix existent pour cette loi, notamment :

• La loi uniforme : ${\displaystyle p_{i}={\frac {1}{|S|}}}$
• Lorsque le message transmis est un mot ${\displaystyle w\in S^{*}}$, une définition naturelle est ${\displaystyle p_{i}={\frac {|w|_{s_{i}}}{|w|}}}$ : la proportion d'apparition de la lettre ${\displaystyle s_{i}}$ dans ${\displaystyle w}$.

Dans cette situation, le symbole en sortie du canal est aussi une variable aléatoire, ${\displaystyle Y}$, dont la loi dépend de celle de ${\displaystyle X}$ :

${\displaystyle P(Y=s')=\sum _{s\in S}P(X=s)\times W(s'|s)}$

On retrouve alors la capacité du canal en observant l'information mutuelle ${\displaystyle I(X;Y)}$ entre l'entrée et la sortie. L'information mutuelle représente informellement la quantité d'information de ${\displaystyle X}$ qui a été préservée par le passage dans le canal. La capacité du canal de communication est alors définie par :

${\displaystyle C=\sup _{p_{X}}I(X;Y)}$

La borne supérieure porte sur la distribution de probabilité de ${\displaystyle X}$. Pour exploiter toute la capacité du canal, il faut donc choisir judicieusement les symboles que l'on y envoie, car tous ne sont pas traités également.

• Canal binaire symétrique

Lorsque ${\displaystyle W}$ est un canal d'entrée ${\displaystyle S}$ et de sortie ${\displaystyle S'}$, on définit pour tout ${\displaystyle n\geq 1}$ le canal ${\displaystyle W^{\times n}}$ qui représente ${\displaystyle n}$ copies indépendantes et parallèles de ${\displaystyle W}$. Il prend son entrée dans ${\displaystyle S^{n}}$ et produit une sortie dans ${\displaystyle S'^{n}}$ selon la distribution de probabilité :

${\displaystyle W^{\times n}(y_{1}\dots y_{n}|x_{1}\dots x_{n})=W(y_{1}|x_{1})\times \dots \times W(y_{n}|x_{n})}$

• C. E. Shannon, A mathematical theory of communication, (œuvre écrite), Inconnu, Short Hills (d), Juillet 1948, [lire en ligne]

• Entropie de Shannon
• Channel state information
• Capacité du canal
• Atténuation du signal