Pré-requis, objectifs et plan du cours

Pré-requis :

• Connaître le principe des fichiers HDR
• Avoir des notions sur l'encodage numérique des intensités lumineuses (voir le cours en ligne sur le Gamma)
• Avoir des notions de technique photo
• Avoir des notions d'éclairage 3D
• Avoir des notions en 3D, notamment :
  • En modélisation polygonale
  • En mapping
  • En textures et matériaux
• Disposer des logiciels nécessaires pour l'ensemble du flux de production choisi
• Disposer d'un ordinateur aussi puissant que possible

Note : pour pouvoir utiliser les fichiers fournis avec ce cours, il faut disposer des logiciels dans les versions suivantes (ou plus récentes) :

• RealityCapture 1.0.2.3009
• 3Dsmax 2018 Service Pack 4
• Photoshop CC2018
• Substance Painter 2018.1.1
• Substance Designer 2018.1
• Marmoset Toolbag 3.04
• Houdini 17.5
• MeshRoom 2019.1

Objectif :

L'objectif est de connaître les différentes étapes d'un flux de production permettant de reproduire de façon photoréaliste un objet pour la 3D temps réel grâce à la photogrammétrie et aux matériaux PBR. Plus précisément :

• Savoir reconstruire un objet avec un logiciel de photogrammétrie
• Savoir faire une décimation ou une retopologie pour créer un objet LowPoly
• Savoir faire un mapping propre
• Savoir créer et gérer des textures PBR
• Savoir exporter correctement l'ensemble des éléments pour la 3D temps réel

Plan du cours :

Vue globale du flux de production : Avant d'entrer dans le détail de chaque étape, il est important d'avoir une vue d'ensemble du flux de production. Relativement complexe, elle permet de comprendre l'ordre des opérations et de préciser les différents logiciels nécessaires pour les réaliser.

Etape 1 : photogrammétrie : Cette première étape a deux objectifs : d'une part reconstruire en 3D l'objet photographié avec le maximum de détails, d'autre part créer une texture à partir des photos qui servira ultérieurement à élaborer le matériau PBR nécessaire à la 3D temps réel.

Etape 2 : création du LowPoly : L'étape de la photogrammétrie produit un objet 3D en très haute définition (HighPoly), impossible à gérer pour la 3D temps réel. Il faut donc en faire un double plus grossier (LowPoly) qui soit plus facile à manipuler. Sur ce terrain, tous les logiciels ne sont pas égaux !

Etape 3 : mapping du LowPoly : La version LowPoly de l'objet 3D ne dispose pas encore de coordonnées de mapping, indispensables pour pouvoir appliquer correctement une texture. Il faut créer de toute pièce ce mapping, ce qui, en fonction de la complexité de l'objet 3D, peut parfois être difficile.

Etape 4 : baking, textures et matériaux PBR : A ce stade on dispose d'une part d'un objet HighPoly avec ses coordonnées de mapping et une texture adaptée, et d'autre part d'un objet LowPoly avec ses coordonnées de mapping mais sans texture. Cette étape permet de convertir la texture de l'objet HighPoly pour l'objet LowPoly en tenant compte de leur coordonnées de mapping différentes. Par ailleurs, elle permet aussi de créer toute une série de textures spécifiques qui permettront in fine de donner à l'objet LowPoly le même aspect que l'objet photographié.

Etape 5 : baking des textures, la procédure simple Cette partie détaille les différentes textures et leur rôle dans la création d'un rendu PBR. Deux familles de textures sont à distinguer : celles qui modifient l'aspect de l'objet et lui confère le rendu d'un matériau précis (céramique, plastique, métal, etc.) et celles qui modifient la structure 3D de l'objet, lui permettant de ressembler à sa version HighPoly mais sans en avoir les inconvénients (Normal, Height, etc.).

Etape 6 : baking des textures, le grand jeu ! Une fois toutes les textures générées, il est temps de les utiliser pour donner à l'objet LowPoly son aspect final - cette étape permet d'ailleurs de modifier en profondeur l'aspect initial de l'objet photographié. Dans le cas de l'exemple du buste en plâtre, comme l'ensemble de l'objet est fait du même matériau, les textures doivent simplement être converties et travaillées pour le rendu PBR temps réel.

Etape 7 : visualisation temps réel et exportation : Cette dernière étape permet de vérifier l'aspect final de l'objet LowPoly et de ses matériaux, éventuellement d'appliquer quelques effets de post-production (glow, profondeur de champ, etc.), et d'exporter l'ensemble vers un logiciel capable d'exploiter le résultat pour la 3D temps réel et l'interactivité (Réalité Augmentée, Réalité Virtuelle, Réalité Mixte, jeux, etc.)

Pour aller (encore) plus loin : Ce cours donne la structure d'un flux de production "simple" pour aller de la photogrammétrie à la 3D temps réel. Il doit être affiné pour permettre de reconstruire encore plus fidèlement des objets, ou être modifié pour permettre de reconstruire des textures, des textures environnementales ou des structures architecturales : ce chapitre donne des pistes pour ces différentes directions...