Introduction

Le tracking 3D, c'est quoi ?

Le tracking est une technique permettant de suivre des motifs dans une séquence vidéo afin de suivre leurs mouvements, qu'il s'agisse de changement de position, de rotation ou d'échelle.

La puissance des ordinateurs et les progrès de la photogrammétrie ont permis depuis plusieurs années de réaliser du tracking 3D (au point de pouvoir être fait par des téléphones) : à partir des motifs suivis dans l'image en 2D, il est possible de les repositionner dans un espace virtuel 3D et même de reconstruire virtuellement un mouvement de caméra. Largement utilisé dans les effets spéciaux cinématographiques, le tracking 3D a par exemple été utilisé dans Jurrassic Park (1993) pour intégrer des dinosaures dans des plans en mouvement.

Le tracking 3D, ça marche comment ?

Lorsqu'il analyse une séquence vidéo, un logiciel de tracking commence par déterminer des cibles à suivre : il repères des zones (parfois des centaines) de l'image et tente de les suivre tout au long de la séquence. Une fois terminé, il compare la façon dont les points repérés bougent relativement les uns aux autres et utilise le principe de la parallaxe pour déterminer leur position dans un espace 3D virtuel : c'est dire aussi que le tracking 3D ne peut fonctionner correctement que dans des séquences vidéos comportant un mouvement de caméra - donc ayant des modification de parallaxe.

Problèmes posés au tracking 3D :

• Un déplacement physique de la caméra est nécessaire car c'est le seul qui produit des changements de parallaxe : les zooms et les panoramiques n'en contiennent pas.
• Motifs ambigus qui ne correspondent pas à un emplacement spatial fixe : pour fonctionner le tracking 3D doit se baser sur des motifs qui corresponde à un emplacement spatial réel, et fixe. Or les logiciels peuvent parfois choisir des motifs ambigus - qui ne correspondent pas à un emplacement fixe - qui vont fausser ses calculs : reflets, brillance, motifs à l'intersection de deux objets qui ne sont pas sur le plan, etc.
• Les mouvements autres que ceux provoqués par la caméra : comme pour les motifs ambigus, les objets en mouvements faussent les calculs. Les logiciels de tracking 3D partent du principe que tout ce qui est dans l'image est fixe, et que leur mouvement apparent est du à celui de la caméra. Les objets réellement en mouvement polluent son analyse et produisent souvent un tracking aberrant.

La théorie étant posée, passons aux travaux pratiques.