Dématriçage

Le capteur

La matrice de Bayer

Le capteur photographique dans une grande majorité des cas, qu'il s'agisse de CCD ou de CMOS, est formé d'alignements d'éléments appelés « photosites ». Les colonnes et rangées de ces photosites composent la « matrice » du capteur, ils réagissent à la lumière qu'ils reçoivent et la transforment en charge électrique, sur le principe d'une cellule photo-électrique.

Ces photosites sont sensibles à l'éclairement reçu, quelle que soit sa couleur. Aussi le capteur photosensible est-il recouvert d'une mosaïque de filtres de couleur affectant chaque photosite à une des trois couleurs primaires du système de synthèse additive des couleurs de l'appareil. La disposition la plus commune de ces filtres s'appelle matrice de Bayer, du nom de son inventeur.

La matrice de Bayer tient compte du fait de l'importance prépondérante du vert dans la luminance, qui gouverne la perception des formes. La moitié des photosites sont affectés au vert, tandis que le rouge et le bleu se partagent le reste à parts égales. Les filtres sont régulièrement espacés, les verts disposés en damier sont chacun entourés d'un rouge et d'un bleu dans le sens horizontal comme dans le sens vertical, de sorte que la disposition de chacune des trois couleurs soit un réseau permettant un échantillonnage régulier.

Le capteur produit un tableau de valeurs proportionnelles à l'éclairement des photosites, dans lequel les trois composantes sont entrelacées.

L'appareil doit produire rapidement une image, ne serait-ce que pour la visée et le contrôle technique. Le traitement le plus simple consiste à sélectionner les données des capteurs verts, et à envoyer directement ces valeurs à un écran de contrôle noir et blanc. Ce procédé simple et rigoureux est quelquefois employé pour vérifier la netteté et la mise au point.

Pour produire une image en couleurs selon les normes informatiques, il faut effectuer une interpolation numérique entre les valeurs des capteurs, pour pouvoir faire correspondre à un pixel un triplet de valeurs rouge, vert, bleu, puis appliquer à chacune une correction gamma, qui les rend plus représentatives de la luminosité perçue par la vision humaine. Pour améliorer l'aspect des images et faciliter la prise de vues, le constructeur propose de plus des réglages, quelquefois accessibles à l'utilisateur, concernant le contraste, la balance des blancs, la saturation des couleurs et l'accentuation de la netteté. Très souvent, ces réglages s'accompagnent de corrections paliant les défauts de l'optique : vignettage, aberrations, déformations.

L'enregistrement d'images consultables sur n'importe quel appareil s'effectue en JPEG, avec une compression de données qui élimine les informations qui ne contribuent pas à l'aspect de l'image avec les réglages indiqués.

Le processeur propose des images selon des modes de calculs résultant de compromis raisonnables mais pas toujours conformes aux souhaits des photographes. Pour s'en affranchir, on choisit un format d'enregistrement RAW, c'est-à-dire brut, comprenant l'ensemble des valeurs nécessaires au dématriçage et aux opérations correctives.

La production d'images standard

• A. Du capteur, sont extraites des informations analogiques qui vont être plus ou moins amplifiées, pour faire cadrer sa sensibilité native de 30-40 ISO avec celles – plus cohérentes – exigées par l'utilisateur : 100, 200, 400, etc. ISO. Au passage, ces signaux analogiques sont numérisés.
• B. C'est le dématriçage. Il convient à partir des photosites : V, V, B et V, V, R de produire d'authentiques pixels composés chacun des trois couleurs : RVB afin d'en faire des images tricouches reconnues par les afficheurs, les imprimantes et les logiciels de traitement.
• C. On applique une sorte de calibrage à l'image ainsi formée, en partant de profils génériques liés aux facultés visuelles humaines. On va donc par exemple maîtriser les seuils maximums des hautes et basses lumières, le contraste donc, et les profils choisis par l'utilisateur ou les automatismes. À savoir la température (K) des couleurs (balance des blancs), la saturation des couleurs, le contrôle de netteté, etc. À ce stade l'image dispose toujours de la profondeur de couleurs « native » du capteur : 12 à 14 bits linéaires en général.
• D. À partir de là, deux choix éventuels possibles :
  • D1. Passage en 8 bits non-linéaires, production d'un fichier JPEG avec choix de la compression si le firmware le permet.
  • D2. Production d'un fichier TIFF en 8 bits non linéaires ou 16 bits linéaires si le firmware propose ce format en option, ou d'un fichier RAW, généralement TIFF/EP, comportant en métadonnées tous les paramètres de traitement.

Traitement du fichier RAW a posteriori.

Le fichier RAW contient à peu près toutes les informations nécessaires à la constitution d'une image finale. L'ordinateur qui les traite est beaucoup moins limité que les appareils portatifs par des impératifs de consommation électrique et de temps de traitement, et le photographe peut observer l'image dans de bien meilleures conditions que sur le terrain.

Le logiciel de dématriçage (Lightroom, Darktable, Capture One, Camera Raw, DXOpro, Rawtherapy, Canon DPP, UFRaw, etc., etc.) va reproduire les phases B, C et D du traitement en se basant sur les paramètres indiqués par le boîtier, mais en laissant l'opérateur les modifier.

Le dématriçage proprement dit peut s'effectuer suivant plusieurs algorithmes. Selon le théorème d'échantillonnage, la matrice de Bayer devrait aboutir à une image d'autant de pixels qu'il y a de capteurs à filtre vert (la moitié du total), avec une résolution de moitié pour ce qui concerne les filtres rouge et bleu. Les algorithmes de dématriçage appliquent des règles empiriques pour que les plus hautes fréquences spatiales présentes dans le sujet ne produisent pas d'effets désagréables[1]. La prise en compte d'un plus grand nombre de capteurs voisins, avec interpolation bicubique et utilisation des lignes verticales, horizontales et diagonales permet d'atténuer, au prix de calculs considérablement plus importants, le crénelage des contours[2]. Les algorithmes qui utilisent l'ensemble des trois canaux ont permis une amélioration considérable. Les scènes ordinaires présentent en effet une corrélation des couleurs. Le gradient d'évolution des valeurs pour chaque couleur est parallèle : on l'utilise pour déterminer la formule de reconstitution du pixel manquant. Les algorithmes les plus perfectionnés effectuent pratiquement des opérations de segmentation d'image pour obtenir des contours d'objets à partir des variations de chaque couleur dans toutes les directions. Les plus simples se basent sur la corrélation entre le canal vert et un canal de luminance[3].

Décomposition d'une image RAW en sous images, puis dématriçage pour obtenir une image couleur

Une Image numérique Couleur (notée ${\displaystyle {\textbf {I}}}$) comporte en chaque pixel ${\displaystyle p}$ l'information de trois composantes couleur (${\displaystyle I_{p}^{R}}$, ${\displaystyle I_{p}^{V}}$, ${\displaystyle I_{p}^{B}}$). La couleur du pixel est alors déduite par Synthèse additive des trois composantes couleur. La Matrice de Bayer permet d'obtenir une image dite RAW (notée ${\displaystyle I^{RAW}}$) dans laquelle chaque pixel ${\displaystyle p}$ porte l'information d'une unique composante ${\displaystyle I^{k}(k\in \{R,V,B\})}$ en accord avec la Matrice de Bayer[5]. Ainsi la moitié des pixels portent l'information de la composante verte ${\displaystyle I_{p}^{V}}$ ( ${\displaystyle I_{p}^{R}}$ et ${\displaystyle I_{p}^{B}}$ sont manquants), un quart portent l'information de la composante rouge ${\displaystyle I_{p}^{R}}$ ( ${\displaystyle I_{p}^{V}}$ et ${\displaystyle I_{p}^{B}}$ sont manquants) et un quart portent l'information de la composante bleue ${\displaystyle I_{p}^{B}}$ ( ${\displaystyle I_{p}^{V}}$ et ${\displaystyle I_{p}^{R}}$ sont manquants).

Le dématriçage consiste à estimer les niveaux manquants en chaque pixels de l'image RAW pour obtenir une image couleur[5].

La première étape du dématriçage consiste à décomposer l'image RAW en trois sous-ensembles, dans lesquelles l'information d'une unique composante est disponible. Pour cela on effectue un masquage en utilisant les masques binaires ${\displaystyle m^{k}(k\in \{R,V,B\})}$, chacun de la taille de l'image et possédant pour valeur 1 aux pixels où la composante ${\displaystyle k}$ est disponible et 0 partout ailleurs. Les masques sont définis pour tout pixel ${\displaystyle p}$ par[5] :

${\displaystyle m_{p}^{k}={\begin{cases}1&{\text{ si }}I_{p}^{k}=I_{p}^{RAW}\\0&{\text{ sinon }}\\\end{cases}}}$

En masquant l'image ${\displaystyle I^{RAW}}$ successivement avec les trois masques (${\displaystyle m^{R}}$,${\displaystyle m^{V}}$,${\displaystyle m^{B}}$) nous obtenons trois sous-images ${\displaystyle {\tilde {I}}^{R}}$, ${\displaystyle {\tilde {I}}^{V}}$ et ${\displaystyle {\tilde {I}}^{B}}$ dans lesquelles seule l'information correspondant à la composante respective R, V ou B est disponible et valant 0 partout ailleurs.

L'interpolation par copie de pixels est la méthode de dématriçage la plus simple, elle consiste à remplacer un niveau manquant par le niveau connu d'un voisin[6]. Ainsi, pour la sous-image ${\displaystyle {\tilde {I}}^{V}}$Chaque niveau inconnu sera remplacé par celui connu de droite. Pour les sous-images ${\displaystyle {\tilde {I}}^{R}}$ et ${\displaystyle {\tilde {I}}^{B}}$, les niveaux inconnus sont remplacés par celui connu de droite, de haut ou de diagonale haut droite selon les cas.

Le dématriçage par Interpolation bilinéaire consiste à estimer les niveaux manquants en effectuant la moyenne des plus proches voisins. Pour cela il suffit d'appliquer un filtre de Convolution à chaque sous-image ${\displaystyle {\tilde {I}}^{R}}$, ${\displaystyle {\tilde {I}}^{V}}$ et ${\displaystyle {\tilde {I}}^{B}}$. Pour la composante verte, le filtre de convolution est défini par[7] : ${\displaystyle H^{V}=}$${\displaystyle {\begin{bmatrix}0&1&0\\1&4&1\\0&1&0\end{bmatrix}}}$ . Pour les composantes rouges et bleues, il est défini par[7] :${\displaystyle H^{R,B}=}$ ${\displaystyle {\begin{bmatrix}1&2&1\\2&4&2\\1&2&1\end{bmatrix}}}$.

L'idée de cette méthode de dématriçage est d'utiliser le Gradient afin de réaliser une interpolation le long des contours et d'éviter une interpolation à travers eux [4]. Pour l'exemple d'un pixel Vert estimé à la position ${\displaystyle I_{p}^{V}}$:

• le gradient vertical est défini par la différence absolue entre le pixel du dessus et celui du dessous[4] : ${\displaystyle \Delta _{p}^{Ver}=|I_{p-(0,1)}^{V}-I_{p+(0,1)}^{V}|}$.
• Le gradient horizontal est défini par la différence absolue entre le pixel de gauche et celui de droite[4] : ${\displaystyle \Delta _{p}^{Hor}=|I_{p-(1,0)}^{V}-I_{p+(1,0)}^{V}|}$.

Le niveau estimé ${\displaystyle I_{p}^{V}}$ est alors estimé en effectuant la moyenne des niveaux proches dans la direction du gradient le plus faible, tel que[4] :

${\displaystyle I_{p}^{V}={\begin{cases}{\frac {1}{2}}\left(I_{p-(0,1)}^{V}+I_{p+(0,1)}^{V}\right)&{\text{ si }}\Delta _{p}^{Ver}<\Delta _{p}^{Hor}\\{\frac {1}{2}}\left(I_{p-(1,0)}^{V}+I_{p+(1,0)}^{V}\right)&{\text{ si }}\Delta _{p}^{Ver}>\Delta _{p}^{Hor}\\{\frac {1}{4}}\left(I_{p-(1,0)}^{V}+I_{p+(1,0)}^{V}+I_{p-(0,1)}^{V}+I_{p+(0,1)}^{V}\right)&{\text{ si }}\Delta _{p}^{Ver}=\Delta _{p}^{Hor}\\\end{cases}}}$

• Henri Maître, Du photon au pixel : L'appareil photographique numérique, ISTE, coll. « Traitement du signal et de l'image », 2016, 2^e éd.
• Harold Phelippeau, Méthodes et algorithmes de dématriçage et de filtrage du bruit pour la photographie numérique : thèse doctorale, Université Paris-Est, 2009 (lire en ligne) [PDF]

• (en) Raw file format.

• RAW (format d'image)