PARTIE 1 : la prise de vue

La prise de vue :

Avant de commencer le tracking proprement dit, il faut déjà disposer d'une vidéo ! Si vous voulez faire l'exercice avec une vidéo personnelle, assurez-vous des points suivants :

• Que l'endroit ou sera intégré l'objet 3D dans l'image présente assez d'éléments qui puissent être trackés, c'est-à-dire de zones où les contrastes lumineux et colorimétriques sont suffisamment prononcés.
• Que l'image comporte des éléments qui permettent de déduire de façon relativement précise l'échelle de la scène : il ne faut pas hésiter à prendre des mesures des éléments visibles à l'image.
• Que la séquence présente le moins de flous possible : profondeur de champ importante, flou de mouvement limité, mise au point précise, compression de l'image optimale, définition de l'image maximale, etc.
• De disposer des éléments permettant de rectifier la déformation en barillet (ces éléments diffèrent en fonction du matériel de prise de vue utilisé : reportez-vous à la fin de ce chapitre pour savoir desquels vous devez disposer en fonction de votre matériel).

La vidéo qui servira d'exemple tout au long de l'exercice (cf. fichiers joints à l'exercice) pose plusieurs problèmes :

• La portion de l'image où sera intégré l'objet 3D est une zone constituée essentiellement d'une nappe rouge uniforme donc avec très peu de contraste chromatique et lumineux : c'est pour cette raison que des morceaux de scotch noirs ont été ajoutés - mais il faudra les effacer de la vidéo par la suite.
• Le caméraman étant très mauvais, de nombreux types de flous affectent l'image :
  • Flou de profondeur de champ : la scène a été filmée avec une ouverture de 2.8
  • Mauvaise mise au point : elle varie durant la prise de vue, et pas toujours au bon moment...
  • Flou de mouvement : il y a quelques saccades dans le mouvement de caméra
  • Compression : la vidéo est enregistrée en H264, et la compression ajoute encore un peu de flou
  • Objectif : l'objectif utilisé est un 24mm de qualité très moyenne

Heureusement la vidéo présente deux points positifs :

• la présence d'une feuille A4 à l'arrière-plan donne un repère très fiable quant à l'échelle de la scène.
• la séquence a été filmée avec un Canon 5D mark iii et un objectif Canon 24mm EF f/2.8 IS USM : les deux sont référencés dans Photoshop et Lightroom, il n'y a donc pas besoin d'utiliser une mire de calibration pour corriger la déformation en barillet.

Un exemple de la piètre qualité de la vidéo qui cumule plusieurs types de flou - on peut même distinguer l'ombre du caméraman sur la droite à la fin de la séquence !

La mauvaise qualité de la vidéo pose autant de problèmes qu’il faudra compenser au compositing, demandant plus de travail et faisant courir le risque d’un résultat final médiocre. Pédagogiquement, l’avantage de cette mauvaise qualité est double : montrer qu’avec une bonne méthode le tracking est malgré tout possible, et surtout insister sur l’idée que tout ce qui est bien fait au moment du tournage donne moins de travail en post-production et produit un résultat final meilleur… La fin de la séquence étant particulièrement floue, le tracking se limitera aux 217 premières images.

La déformation en barillet : un brin de théorie

Lorsqu'on filme une séquence, la courbure des lentilles de l'objectif déforme l'image enregistrée en la bombant plus ou moins fortement - l'exemple extrême étant les objectifs "fisheye".

Sur cette photo on peut voir que les zones les plus déformées sont sur les bords de l'image : l'immeuble au fond est presque droit tandis que ceux à droite et à gauche sont fortement bombés. D'une façon générale, la déformation en barillet est presque inexistante au centre de l'image et devient d'autant plus prononcée qu'on se rapproche des coins.

Si l'effet est très sensible avec un objectif fisheye, il existe, même de façon peu sensible, avec tous les objectifs, mais il est d'autant plus fort que la focale est courte - et la vidéo de l'exercice a été réalisée avec un 24 mm...

Pourquoi est-il si important de corriger cette déformation ? Simplement parce que le tracking 3D (ou Match moving) consiste à analyser une séquence vidéo pour en extraire des données permettant ensuite de la reconstruire virtuellement. Mais si l'image a été déformée d'une manière ou d'une autre, le logiciel de tracking reconstruira une scène elle aussi déformée.

Comment compenser la déformation en barillet ?

Il existe deux cas de figure, en fonction du matériel utilisé pour la prise de vue. Dans les deux cas, parce qu'il faudra recourir soit à Photoshop soit à Lightroom, le fichier vidéo doit être converti en séquence d'images, en prenant soin de choisir un format d'exportation qui ne dégrade pas les données de la vidéo - on ne converti pas une séquence ProRez en images JPG par exemple...

1. La prise de vue est faite avec un appareil DSLR et un objectif qui sont tous les deux référencés dans le filtre Lens Correction de Photoshop ou dans le panneau Lens Correction de Ligthroom (moins fournis que celui de Photoshop) : c'est le cas de la vidéo de l'exercice
2. La prise de vue est faite avec un couple appareil-objectif qui n'est pas dans la base de données de Photoshop ou Lightroom, ce qui est le cas le plus fréquent (les optiques Samyang disponibles au département Arts de l'Université ne sont par exemple pas référencées). Dans ce cas, il faut faire une calibration personnalisée en se basant sur trois photos d'une mire quadrillée.

Dans le premier cas il faut créer un script qui automatise l'application du filtre Lens Correction et appliquer le script à toutes les images de la séquence avec le traitement par lot.

• Tutoriel pour apprendre à faire un script dans Photoshop à cette adresse
• Tutoriel pour apprendre à utiliser le traitement par lot dans Photoshop à cette adresse

Dans le second cas, il faut faire une calibration personnalisée avec l'outil d'Adobe dédié à cette tâche, le Lens Profile Creator, téléchargeable à cette adresse (gratuit). Il faut ensuite appliquer le profil créé à toutes les images de la séquence : un tutoriel expliquant toutes les étapes est disponible à cette adresse.

A la fin de cette partie, vous devez donc disposer de la séquence d'images de votre vidéo, compensée de la déformation en barillet du matériel utilisé lors de la prise de vue (ou utiliser la séquence d'images compensées fournie dans les fichiers de l'exercice). Il est temps de passer au tracking 3D proprement dit.