Match moving

La première étape consiste à identifier et à tracker des cibles. Une cible est un point spécifique de l'image qu'un algorithme de tracking peut verrouiller (dans le sens militaire) et suivre sur plusieurs images. Le choix de ces cibles dépend de l'algorithme de tracking, mais ce sont souvent des endroits lumineux/sombres, des arêtes ou des coins. L'important est que chaque cible représente un point spécifique de la surface d'un objet réel. Lorsqu'elle est trackée, une cible devient une suite de coordonnées bidimensionnelles représentant la position de la cible à travers la séquence d'image. Cette suite est appelée track. Une fois que ces tracks ont été calculées, elles peuvent soit être utilisées immédiatement pour faire du match moving 2D, soit être utilisées pour calculer les informations 3D.

La seconde étape nécessite une résolution pour obtenir le mouvement 3D. Le but est de déduire le mouvement de la caméra en résolvant une projection inverse des chemins 2D pour la position de la caméra. Ce processus est appelé calibrage.

Plus précisément : quand un point de la surface d'un objet tridimensionnel est photographié, sa position dans l'image 2D peut être calculée par une fonction de type projection 3D. On peut considérer qu'une caméra est une abstraction qui contient tous les paramètres nécessaire à la modélisation d'une caméra dans un univers réel ou virtuel. Ainsi, une caméra est un vecteur qui contient comme éléments : la position de la caméra, son orientation, sa focale, et d'autres paramètres possibles qui définissent comment la caméra focalise la lumière sur la pellicule. La manière dont est construit ce vecteur importe peu tant qu'il existe une fonction de projection P compatible.

La fonction de projection P prend comme entrée un vecteur de caméra (noté camera) et un autre vecteur représentant la position d'un point 3D dans l'espace (noté xyz), et retourne un point 2D qui est le projeté du point 3D sur un plan dit image et situé devant la caméra (noté XY) On a alors l'expression suivante :

XY = P(camera, xyz)

Une illustration de projection de cible. Autour d'une structure en 3D, les points rouges sont ceux suivis par le programme. Les caméras aux positions i et j récupèrent (« projettent ») la vue sur un plan (lié aux paramètres de la caméra). De cette manière, les cibles trackées en 2D correspondent à de vrais points de l'espace 3D. Bien que l'objet de cette illustration soit généré par ordinateur, le match moving est normalement effectué sur de vrais objets.

La fonction de projection transforme un point 3D notamment en supprimant la composante de profondeur. Sans connaitre la profondeur, une projection inverse peut seulement retourner un ensemble de points 3D solutions. Cet ensemble est une droite partant du centre optique de la caméra et passant par le point 2D projeté. On peut exprimer la projection inverse par :

xyz ∈ P'(camera, XY)

ou

xyz :P(camera, xyz) = XY

Supposons que nous soyons dans le cas où les cibles que nous sommes en train de traquer sont sur la surface d'un objet rigide, par exemple un bâtiment. Comme nous savons que le point réel xyz restera au même endroit dans l'espace (sauf si le bâtiment se déforme) d'une image sur l'autre, on peut contraindre ce point à être constant quand bien même on ne connait pas sa position. Donc :

xyz_i = xyz_j

où les indices i et j sont des numéros arbitraires d'images de la scène que nous sommes en train d'analyser. Cela nous permet d'affirmer que :

P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) ≠ {}

Du fait que la valeur XY_i a été déterminée pour toutes les images où la cible a été traquée par le programme, on peut résoudre la projection inverse entre deux images tant que P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) est un ensemble restreint. L'ensemble des vecteurs camera possible qui sont solutions de l'équation aux instants i et j (noté C_ij).

C_ij = {(camera_i,camera_j):P'(camera_i, XY_i) ∩ P'(camera_j, XY_j) ≠ {})

Il y a donc un ensemble de paires de vecteurs caméra C_ij pour lesquels l'intersection de la projection inverse de deux points XY_i et XY_j est non vide, de préférence petit, et est centré autour du point théoriquement stationnaire xyz .

En d'autres termes, imaginez un point noir flottant dans un espace blanc et une caméra. Pour chaque position de l'espace où on place la caméra, il y a un ensemble de paramètres correspondants (orientation, focale, etc) qui vont photographier ce point exactement de la même manière. Comme C a un nombre de membres infinis, un seul point est insuffisant pour déterminer la position actuelle de la caméra.

En augmentant le nombre de points ciblés, on peut restreindre l'ensemble des positions possibles pour la caméra. Par exemple, si on dispose d'un ensemble de points xyz_i,0, …, xyz_i,n} et xyz_j,0, …, xyz_j,n} i et j étant toujours des indices d'image et n est un indice représentant chacune des cibles. On peut alors obtenir un ensemble de paires de vecteur-caméra {C_i,j,0, …, C_i,j,n}.

De cette manière, on restreint l'ensemble des paramètres possibles de caméra. L'ensemble des paramètres possibles qui conviennent à la caméra, F, est l'intersection de tous les ensembles :

F = C_i,j,0 ∩ … ∩ C_i,j,n

Plus petit est cet ensemble, plus il est facile d'approcher le vecteur-caméra solution. Cependant en pratique, des erreurs introduites par la phase de suivi imposent une approche statistique pour déterminer la solution, des algorithmes d'optimisation sont souvent utilisés. Malheureusement, il y a tellement de paramètres dans un vecteur-caméra que lorsque chacun de ces paramètres est indépendant des autres, on peut être incapable de restreindre F à une unique possibilité peu importe le nombre de points que l'on essaie de suivre. Plus le nombre de paramètres que l'on peut restreindre lors d'une prise est grand (notamment la focale), plus il est facile de déterminer la solution.

On appelle phase de résolution 3D le traitement consistant à restreindre le nombre de solutions possibles du mouvement de la caméra afin d'atteindre une seule possibilité qui conviennent à la phase de compositing.

Une fois que la position de la caméra a été déterminée pour chaque image, il devient alors possible d'estimer la position de chaque cible dans l'espace réel par projection inverse. L'ensemble de points résultant est souvent nommé nuage de points du fait de son apparence nébuleuse. Comme le nuage de points révèle souvent une partie de la forme de la scène 3D, il peut être utilisé comme référence pour placer des objets en image de synthèse ou, à l'aide d'un programme de reconstruction, créer une version virtuelle de la scène réelle.

La caméra et le nuage de point nécessitent d'être orientés dans l'espace. Ainsi, une fois le calibrage terminé, il est nécessaire de définir le plan représentant le sol. Normalement, il y a un plan unitaire qui détermine l'échelle, l'orientation et l'origine de l'espace projeté. Certains programmes essaient de le faire automatiquement ; cependant, le plus souvent, c'est l'utilisateur qui définit ce plan. Comme de la modification de ce plan ne résulte qu'une simple transformation sur tous les points, la position d'un tel plan n'est vraiment qu'une question de convention.

La reconstruction est le processus interactif qui consiste à recréer un objet photographié en utilisant les données de tracking. Cette technique est liée à la photogrammétrie. Dans ce cas particulier, il s'agit d'utiliser le logiciel de match moving dans le but de reconstruire la scène depuis une prise adéquate.

Un programme de reconstruction peut créer des objets tridimensionnels représentants les vrais objets de la scène photographiée. En utilisant les données du nuage de points et l'estimation de l'utilisateur, le programme peut créer un objet virtuel et extraire une texture depuis la vidéo qui sera projetée sur l'objet virtuel comme texture surfacique.

Le tracking vidéo permet de recréer les mouvements d'une caméra réelle sur une caméra virtuelle. Le système sert soit à intégrer une personne réelle tournée sur un fond bleu ou vert dans un décor virtuel, soit à intégrer un personnage virtuel dans un décor réel tourné avec une caméra qui bouge.

Pour arriver à un bon tracking, il faut suivre quelques étapes qui commencent sur le lieu de tournage.

Le plus souvent, ce sont les assistants du chef des effets spéciaux qui s'occupent de cette étape. Il s'agit ici de positionner des repères sur décors, qui sont assez visibles pour la suite et pas trop pour être enlevés facilement. Ensuite, il faut mesurer précisément la distance entre chaque repère et faire un plan détaillé de l'ensemble de la scène. À chaque plan tourné dans le décor, il est nécessaire de noter la focale utilisée, et la hauteur de la caméra si le mouvement réalisé correspond à un mouvement dans un décor 3D.

Les repères peuvent aussi être des éléments durs du décor, coin de table, motif, dès lors que le contraste avec la couleur du fond est suffisamment marqué.

Ensuite, on recrée tout le décor en 3D à l'échelle en fonction du plan créé lors du tournage dans un logiciel de 3D.

Lorsque débute la post-production, un technicien reçoit tous les plans, il va devoir analyser chaque plan, pour savoir quelle focale est utilisée, s’il y a un zoom, le mouvement de la caméra. Ensuite, le film va être transformé en séquence d'images.

Il existe de nombreux programmes de tracking (Matchmover de Realviz), dans la plupart des programmes de 3d, il y a un système de tracking (Maya Live pour Maya, Cameras match pour 3DS Max…). C'est ici que l'on dit au programme la focale utilisée, s’il y a un a eu zoom et le mouvement de la caméra.

Ici commence le tracking à proprement parler. On place ici des points - 'Les Tracker' - sur les repères réels. On lance le tracking et le programme va suivre le repère automatiquement jusqu'à ce qu'il le perde de vue. On fait cette étape sur tous les points présents sur la scène.

À ce stade du processus, les tracker ne bougent que dans 2 dimensions. C'est ici que l'on va importer la reproduction de la scène en 3D dans le programme. On va faire coïncider chaque tracker avec les points qui leur correspondent sur la scène 3D. On lance le solving. Le programme va interpréter les mouvements 2D de chaque tracker en fonction de leur position dans la scène 3D pour avoir le mouvement de caméra.

Maintenant qu'on a le mouvement fidèle de la caméra, on va pouvoir l'importer dans un logiciel de 3D s'il n'est pas déjà dedans.

Un « matte tracking » est un concept similaire au matte painting. Cependant, le but d'un matte tracking est d'empêcher l'algorithme de tracking d'utiliser des données non fiables, sans rapport ou non rigides. Par exemple, dans une scène où un acteur marche devant un arrière-plan, le match mover (celui qui s'occupe du match moving) voudra utiliser seulement cet arrière-plan pour obtenir le mouvement de sa caméra sachant que le mouvement de l'acteur va interférer dans les calculs. Dans ce cas, l'artiste va construire un matte tracking pour suivre l'acteur dans la scène et bloquer cette information dans le processus de tracking.

• Compositing
• Photogrammétrie
• Realviz : éditeur de logiciels pour les effets spéciaux.
• Rotoscopie
• Virtual Studio

• (en) 3D Estimation and Applications to Match Move Un article qui explique en profondeur la théorie mathématique qui est derrière le match moving.
• (fr) Match Moving Exemple en vidéo de l'utilisation du match moving sur un bâtiment avec incrustation de 3D.